모델 페이지: Gemma
리소스 및 기술 문서:
이용약관: Terms
저자: Google
모델 정보
입력과 출력에 대한 요약 설명 및 간단한 정의
설명
Gemma는 Gemini 모델을 만드는 데 사용된 것과 동일한 연구 및 기술로 빌드된 Google의 경량형 최첨단 개방형 모델 제품군입니다. 이 모델은 텍스트 대 텍스트 디코더 전용 대규모 언어 모델로, 영어로 제공되며, 오픈 가중치, 선행 학습된 변형, 명령 조정 변형이 있습니다. Gemma 모델은 질의 응답, 요약, 추론 등 다양한 텍스트 생성 태스크에 적합합니다. 비교적 크기가 작기 때문에 노트북, 데스크톱 또는 자체 클라우드 인프라와 같이 리소스가 제한된 환경에 배포할 수 있으므로, 최첨단 AI 모델에 대한 액세스를 범용화하고 모두를 위한 혁신을 촉진하는 데 도움이 됩니다.
투입 및 출력
- 입력: 질문, 프롬프트, 요약할 문서와 같은 텍스트 문자열입니다.
- 출력: 질문에 대한 답변이나 문서 요약과 같이 입력에 대한 응답으로 생성된 영어 텍스트입니다.
인용문
@article{gemma_2024,
title={Gemma},
url={https://www.kaggle.com/m/3301},
DOI={10.34740/KAGGLE/M/3301},
publisher={Kaggle},
author={Gemma Team, Thomas Mesnard and Cassidy Hardin and Robert Dadashi and Surya Bhupatiraju and Laurent Sifre and Morgane Rivière and Mihir Sanjay Kale and Juliette Love and Pouya Tafti and Léonard Hussenot and et al.},
year={2024}
}
모델 데이터
모델 학습에 사용되는 데이터와 데이터가 처리된 방법입니다.
학습 데이터 세트
이 모델은 총 6조 개의 토큰에 해당하는 다양한 소스가 포함된 텍스트 데이터 데이터 세트에서 학습되었습니다. 주요 구성요소는 다음과 같습니다.
- 웹 문서: 다양한 웹 텍스트 컬렉션을 통해 모델이 다양한 언어 스타일, 주제, 어휘에 노출되도록 합니다. 주로 영어 콘텐츠
- 코드: 모델을 코드에 노출하면 프로그래밍 언어의 구문과 패턴을 학습하는 데 도움이 되며, 이를 통해 코드를 생성하거나 코드 관련 질문을 이해하는 기능이 향상됩니다.
- 수학: 수학 텍스트를 학습하면 모델이 논리적 추론과 기호 표현을 학습하고 수학 쿼리를 처리하는 데 도움이 됩니다.
이러한 다양한 데이터 소스의 조합은 다양한 작업과 텍스트 형식을 처리할 수 있는 강력한 언어 모델을 학습시키는 데 중요합니다.
데이터 전처리
다음은 학습 데이터에 적용되는 주요 데이터 정리 및 필터링 방법입니다.
- CSAM 필터링: 유해하고 불법적인 콘텐츠를 제외하기 위해 엄격한 CSAM (아동 성적 학대 콘텐츠) 필터링이 데이터 준비 프로세스의 여러 단계에서 적용되었습니다.
- 민감한 정보 필터링: Gemma의 선행 학습된 모델을 안전하고 안정적으로 만들기 위해 자동화된 기법을 사용하여 학습 세트에서 특정 개인 정보와 기타 민감한 정보를 필터링했습니다.
- 추가 방법: Google 정책에 따라 콘텐츠 품질 및 안전을 기반으로 필터링합니다.
구현 정보
모델 내부에 대한 세부정보입니다.
하드웨어
Gemma는 최신 세대의 Tensor Processing Unit (TPU) 하드웨어 (TPUv5e)를 사용하여 학습되었습니다.
대규모 언어 모델을 학습시키려면 막대한 컴퓨팅 성능이 필요합니다. 머신러닝에서 일반적인 행렬 작업을 위해 특별히 설계된 TPU는 이 영역에서 몇 가지 이점을 제공합니다.
- 성능: TPU는 LLM 학습에 수반되는 대규모 연산을 처리하도록 특별히 설계되었습니다. CPU에 비해 학습 속도를 크게 높일 수 있습니다.
- 메모리: TPU에는 많은 양의 고대역폭 메모리가 함께 제공되는 경우가 많으므로 학습 중에 대형 모델과 배치 크기를 처리할 수 있습니다. 이렇게 하면 모델 품질이 향상될 수 있습니다.
- 확장성: TPU 포드 (TPU의 대규모 클러스터)는 점점 더 복잡해지는 대규모 기반 모델을 처리할 수 있는 확장 가능한 솔루션을 제공합니다. 여러 TPU 기기에 학습을 분산하여 더 빠르고 효율적으로 처리할 수 있습니다.
- 비용 효율성: 특히 더 빠른 학습으로 인해 절약되는 시간과 리소스를 고려할 때, 많은 시나리오에서 TPU는 CPU 기반 인프라보다 대규모 모델 학습에 더 비용 효율적인 솔루션을 제공할 수 있습니다.
- 이러한 이점은 지속 가능한 운영을 위한 Google의 약속과 일치합니다.
소프트웨어
JAX를 통해 연구원들은 TPU를 포함한 최신 세대의 하드웨어를 활용하여 대규모 모델을 더 빠르고 효율적으로 학습시킬 수 있습니다.
ML Pathways는 여러 태스크에 일반화할 수 있는 인공지능 시스템을 빌드하기 위한 Google의 최신 노력입니다 이는 이러한 대규모 언어 모델을 비롯한 기반 모델에 특히 적합합니다.
Gemini의 모델 제품군에 대한 문서에 설명된 대로 JAX와 ML Pathways가 사용됩니다. 'Jax 및 Pathways의 '단일 컨트롤러' 프로그래밍 모델을 사용하면 단일 Python 프로세스에서 전체 학습 실행을 조정하여 개발 워크플로를 크게 간소화할 수 있습니다.'
평가
모델 평가 측정항목 및 결과
벤치마킹 결과
텍스트 생성의 여러 측면을 다루기 위해 다양한 데이터 세트 및 측정항목으로 구성된 대규모 컬렉션을 대상으로 이러한 모델을 평가했습니다.
| 벤치마크 | 측정항목 | 젬마 PT 2B | 젬마 PT 7B |
|---|---|---|---|
| MMLU | 5샷, 상위 1개 | 42.3 | 64.3 |
| HellaSwag | 제로샷 | 71.4리 | 81,200원 |
| PIQA | 제로샷 | 77.3리 | 81,200원 |
| SocialIQA | 제로샷 | 49.7 | 51.8리라 |
| BoolQ | 제로샷 | 69.4리라 | 8,320 |
| WinoGrande | 부분 점수 | 65.4리 | 72.3리 |
| CommonsenseQA | 7샷 | 65.3리 | 71,300원 |
| OpenBookQA | 47.8리라 | 52.8리라 | |
| ARC-e | 7,320만 | 81.5 | |
| ARC-C | 4,210만 | 5,320만 | |
| TriviaQA | 5장 | 5,320만 | 63.4 |
| 자연스러운 질문 | 5장 | 12.5 | 23.0 |
| HumanEval | 패스@1 | 22.0 | 3,230만 |
| MBPP | 3장 | 29.2 | 44.4 |
| GSM8K | maj@1님 | 17.7 | 46.4리 |
| MATH | 4장 | 11.8 | 2,430만 |
| AGIEval | 24.2 | 41.7 | |
| 빅벤치 | 35,200원 | 55.1 | |
| 평균 | 44.9세 | 56.4세 |
윤리 및 안전
윤리 및 안전 평가 접근 방식 및 결과
평가 방식
평가 방법에는 구조화된 평가와 관련 콘텐츠 정책의 내부 레드팀 테스트가 포함됩니다. 레드팀 활동은 각각 목표와 평가 지표가 서로 다른 여러 팀에 의해 수행되었습니다. 이 모델은 윤리 및 안전과 관련된 여러 카테고리를 기준으로 평가되었으며, 여기에는 다음이 포함됩니다.
- 텍스트 간 콘텐츠 안전성: 아동 성적 학대 및 착취, 괴롭힘, 폭력과 유혈 콘텐츠, 증오심 표현 등 안전 정책을 다루는 프롬프트를 사람이 직접 평가합니다.
- 텍스트 간 표현 피해: WinoBias 및 BBQ 데이터 세트와 같은 관련 학술 데이터 세트를 기준으로 벤치마킹합니다.
- 기억: 개인 식별 정보 노출 위험을 포함한 학습 데이터 기억의 자동 평가
- 대규모 피해: 화학, 생물학적, 방사선, 핵 (CBRN) 위험과 같은 '위험한 기능'을 테스트합니다.
평가 결과
윤리 및 안전 평가의 결과는 아동 안전, 콘텐츠 안전, 표현적 피해, 기억, 대규모 피해와 같은 카테고리의 내부 정책 준수를 위한 허용 기준점 이내입니다. 강력한 내부 평가 외에 BBQ, BOLD, Winogender, Winobias, RealToxicity, TruthfulQA와 같은 잘 알려진 안전 벤치마크의 결과가 여기에 표시됩니다.
젬마 1.0
| 벤치마크 | 측정항목 | Gemma 1.0 IT 2B | Gemma 1.0 IT 7B |
|---|---|---|---|
| RealToxicity | 평균 | 6.86 | 7.90 |
| 대담 | 45,570 | 4,908만 | |
| CrowS 쌍 | top-1 | 4,582만 | 5,133만 |
| 바비큐 | 원샷, 최상위 1 | 62,580 | 92,540원 |
| BBQ 명확성 | top-1 | 5,462만 | 71.99유로 |
| 위노젠더 | top-1 | 5,125만 | 5,417만 |
| TruthfulQA | 4,484만 | 3,181만 | |
| Winobias 1_2 | 5,612만 | 5,909만 | |
| Winobias 2_2 | 91,100 | 92,230원 | |
| 톡시젠 | 29.77 | 39,590원 |
젬마 1.1
| 벤치마크 | 측정항목 | Gemma 1.1 IT 2B | Gemma 1.1 IT 7B |
|---|---|---|---|
| RealToxicity | 평균 | 7.03 | 8.04 |
| 대담 | 47,760 | ||
| CrowS 쌍 | top-1 | 45,890 | 49,670원 |
| 바비큐 | 원샷, 최상위 1 | 58.97달러 | 86,060 |
| BBQ 명확성 | top-1 | 53,900원 | 8,508만 |
| 위노젠더 | top-1 | 5,014만 | 57,640원 |
| TruthfulQA | 4,424만 | 4,534만 | |
| Winobias 1_2 | 55,930원 | 5,922만 | |
| Winobias 2_2 | 89,460원 | 89.2 | |
| 톡시젠 | 2,964만 | 38,750 |
사용 및 제한사항
이러한 모델에는 사용자가 알고 있어야 하는 몇 가지 제한사항이 있습니다.
용도
개방형 대규모 언어 모델 (LLM)은 다양한 산업과 분야의 다양한 애플리케이션을 지원합니다. 다음의 잠재적 용도 목록은 포괄적이지 않습니다. 이 목록의 목적은 모델 제작자가 모델 학습 및 개발의 일부로 고려한 가능한 사용 사례에 대한 컨텍스트 정보를 제공하는 것입니다.
- 콘텐츠 제작 및 커뮤니케이션
- 텍스트 생성: 이러한 모델은 시, 스크립트, 코드, 마케팅 문구, 이메일 초안과 같은 창의적인 텍스트 형식을 생성하는 데 사용할 수 있습니다.
- 챗봇 및 대화형 AI: 고객 서비스, 가상 어시스턴트 또는 대화형 애플리케이션을 위한 대화형 인터페이스를 구동합니다.
- 텍스트 요약: 텍스트 자료, 연구 논문 또는 보고서의 간결한 요약을 생성합니다.
- 연구 및 교육
- 자연어 처리 (NLP) 연구: 이러한 모델은 연구원이 NLP 기술을 실험하고, 알고리즘을 개발하며, 이 분야의 발전에 기여하는 기반이 될 수 있습니다.
- 언어 학습 도구: 문법 교정 또는 작문 연습을 지원하는 대화형 언어 학습 환경을 지원합니다
- 지식 탐색: 요약을 생성하거나 특정 주제에 관한 질문에 답하여 연구원이 방대한 텍스트를 탐색할 수 있도록 지원합니다.
제한사항
- 학습 데이터
- 학습 데이터의 품질과 다양성은 모델의 기능에 상당한 영향을 미칩니다. 학습 데이터의 편향이나 격차로 인해 모델 응답이 제한될 수 있습니다.
- 학습 데이터 세트의 범위에 따라 모델이 효과적으로 처리할 수 있는 주제 영역이 결정됩니다.
- 컨텍스트 및 작업 복잡성
- LLM은 명확한 프롬프트와 안내로 프레이밍할 수 있는 작업에 더 적합합니다. 개방형이거나 매우 복잡한 작업은 어려울 수 있습니다.
- 모델 성능은 제공된 컨텍스트의 양에 영향을 받을 수 있습니다. 컨텍스트가 길수록 일반적으로 특정 지점까지 더 나은 출력을 얻을 수 있습니다.
- 언어 모호성 및 뉘앙스
- 자연어는 본질적으로 복잡합니다. LLM이 미묘한 뉘앙스, 냉소, 비유적 언어를 이해하는 데 어려울 수 있습니다
- 사실 정확성
- LLM은 학습 데이터 세트에서 학습한 정보를 기반으로 응답을 생성하지만 기술 자료는 아닙니다. 부정확하거나 오래된 사실 진술을 생성할 수도 있습니다.
- 상식
- LLM은 언어의 통계 패턴에 의존합니다. 특정 상황에서 상식적인 추론을 적용하는 능력이 부족할 수 있습니다.
윤리적 고려사항과 위험
대규모 언어 모델 (LLM)의 개발은 몇 가지 윤리적 우려를 제기합니다. Google은 공개 모델을 만들 때 다음 사항을 신중하게 고려했습니다.
- 편견과 공정성
- 대규모 실제 텍스트 데이터로 학습된 LLM은 학습 자료에 내장된 사회문화적 편향을 반영할 수 있습니다. 이러한 모델은 신중한 정밀 조사, 입력 데이터 전처리 설명 및 이 카드에 보고된 사후 평가를 거쳤습니다.
- 잘못된 정보 및 오용
- LLM은 거짓이거나 오해의 소지가 있거나 유해한 텍스트를 생성하는 데 오용될 수 있습니다.
- 책임감 있는 방식으로 모델을 사용하기 위한 가이드라인은 책임감 있는 생성형 AI 도구 키트를 참조하세요.
- 투명성 및 책임:
- 이 모델 카드에는 모델의 아키텍처, 기능, 제한사항, 평가 프로세스에 대한 세부정보가 요약되어 있습니다.
- 책임감 있게 개발된 개방형 모델은 AI 생태계 전반의 개발자와 연구자가 LLM 기술에 액세스할 수 있도록 하여 혁신을 공유할 기회를 제공합니다.
파악된 위험 요소 및 완화 방법:
- 편향의 영구화: 모델 학습, 미세 조정, 기타 사용 사례 중에 지속적인 모니터링(평가 측정항목, 사람의 검토 사용)과 편향 제거 기법을 탐색하는 것이 좋습니다.
- 유해한 콘텐츠 생성: 콘텐츠 안전을 위한 메커니즘과 가이드라인이 필수적입니다. 개발자는 주의를 기울여 특정 제품 정책 및 애플리케이션 사용 사례에 따라 적절한 콘텐츠 안전 보호 장치를 구현하는 것이 좋습니다.
- 악의적인 목적으로 오용: 기술적 제한과 개발자 및 최종 사용자 교육을 통해 LLM의 악성 애플리케이션을 완화할 수 있습니다. 사용자가 오용을 신고할 수 있는 교육 리소스 및 신고 메커니즘이 제공됩니다. Gemma 모델의 금지된 사용은 Gemma 금지된 사용 정책에 설명되어 있습니다.
- 개인 정보 보호 위반: PII(개인 식별 정보) 삭제를 위해 필터링된 데이터를 대상으로 모델이 학습되었습니다. 개발자는 개인 정보 보호 기술을 사용하여 개인 정보 보호 규정을 준수하는 것이 좋습니다.
이점
출시 시점을 기준으로 이 모델 제품군은 책임감 있는 AI 개발을 위해 처음부터 설계된 고성능 개방형 대규모 언어 모델 구현을 유사한 크기의 모델과 비교하여 제공합니다.
이러한 모델은 이 문서에 설명된 벤치마크 평가 측정항목을 사용하여 비슷한 규모의 다른 개방형 모델 대안보다 우수한 성능을 제공하는 것으로 나타났습니다.