Model Terbuka Gemma
Serangkaian model open source yang ringan dan canggih, yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini
Memperkenalkan
Gemma 2
Didesain ulang untuk performa luar biasa dan efisiensi yang tak tertandingi, Gemma 2 mengoptimalkan inferensi super cepat pada beragam hardware.
5 tembakan
MMLU
Tolok ukur MMLU adalah pengujian yang mengukur cakupan pengetahuan dan kemampuan pemecahan masalah yang diperoleh oleh model bahasa besar selama prapelatihan.
25 shot
ARC-C
Benchmark ARC-c adalah subset yang lebih terfokus dari set data ARC-e, yang hanya berisi pertanyaan yang salah dijawab oleh algoritma umum (ko-kejadian kata dan berbasis pengambilan).
5-shot
GSM8K
Tolok ukur GSM8K menguji kemampuan model bahasa untuk memecahkan soal matematika tingkat sekolah dasar yang sering kali memerlukan beberapa langkah penalaran.
3-5 tembakan
AGIEval
Tolok ukur AGIEval menguji kecerdasan umum model bahasa dengan menggunakan pertanyaan dari ujian dunia nyata yang dirancang untuk menilai kemampuan intelektual manusia.
3-shot, CoT
BBH
Tolok ukur BBH (BIG-Bench Hard) berfokus pada tugas-tugas yang dianggap di luar kemampuan model bahasa saat ini, dengan menguji batas kemampuan di berbagai bidang penalaran dan pemahaman.
3-shot, F1
LEPASKAN
DROP adalah benchmark pemahaman membaca yang memerlukan penalaran terpisah atas paragraf.
5-shot
Winogrande
Benchmark Winogrande menguji kemampuan model bahasa untuk menyelesaikan tugas mengisi titik-titik yang ambigu dengan opsi biner, yang memerlukan penalaran akal sehat umum.
10 kali
HellaSwag
Tolok ukur HellaSwag menantang kemampuan model bahasa untuk memahami dan menerapkan penalaran akal sehat dengan memilih akhir cerita yang paling logis.
4-shot
MATH
MATH mengevaluasi kemampuan model bahasa untuk menyelesaikan soal cerita matematika yang kompleks, yang memerlukan penalaran, pemecahan masalah multilangkah, dan pemahaman konsep matematika.
0-shot
ARC-e
Benchmark ARC-e menguji keterampilan menjawab pertanyaan lanjutan model bahasa dengan pertanyaan sains pilihan ganda tingkat sekolah dasar yang asli.
0-shot
PIQA
Benchmark PIQA menguji kemampuan model bahasa untuk memahami dan menerapkan pengetahuan umum fisik dengan menjawab pertanyaan tentang interaksi fisik sehari-hari.
0-shot
SIQA
Tolok ukur SIQA mengevaluasi pemahaman model bahasa tentang interaksi sosial dan akal sehat sosial dengan mengajukan pertanyaan tentang tindakan orang dan implikasi sosialnya.
0 kali
Boolq
Benchmark BoolQ menguji kemampuan model bahasa untuk menjawab pertanyaan ya/tidak yang muncul secara alami, menguji kemampuan model untuk melakukan tugas inferensi bahasa alami di dunia nyata.
5 tembakan
TriviaQA
Tolok ukur TriviaQA menguji keterampilan pemahaman membaca dengan tiga pertanyaan-jawaban-bukti.
5 tembakan
NQ
Tolok ukur NQ (Natural Questions) menguji kemampuan model bahasa untuk menemukan dan memahami jawaban di seluruh artikel Wikipedia, yang menyimulasikan skenario tanya jawab di dunia nyata.
pass@1
HumanEval
Benchmark HumanEval menguji kemampuan pembuatan kode model bahasa dengan mengevaluasi apakah solusinya lulus pengujian unit fungsional untuk masalah pemrograman.
3-shot
MBPP
Benchmark MBPP menguji kemampuan model bahasa untuk menyelesaikan masalah pemrograman Python dasar, dengan berfokus pada konsep pemrograman dasar dan penggunaan library standar.
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7 M
LLAMA 3
8B
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
LLAMA 3
8B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7 M
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7 M
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7 M
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27B
Gemma 1
2,5 M
Gemma 2
2,6 miliar
Mistral
7B
Gemma 1
7B
Gemma 2
9 miliar
Gemma 2
27B
*Ini adalah tolok ukur untuk model terlatih sebelumnya. Lihat laporan teknis untuk mengetahui detail performa dengan metodologi lainnya.
Rangkaian model Gemma
Pelajari alat kami
Panduan memulai cepat untuk developer
Panduan memulai cepat untuk partner
Buku Resep Gemma
Jelajahi kumpulan resep dan contoh praktis yang menunjukkan keandalan dan fleksibilitas Gemma untuk tugas seperti pemberian teks pada gambar dengan PaliGemma, pembuatan kode dengan CodeGemma, dan pembuatan chatbot dengan model Gemma yang telah disesuaikan.
Pengembangan Responsible AI
Tanggung Jawab dari Desain
Dilatih sebelumnya dengan data yang diseleksi dengan cermat dan disesuaikan untuk keamanan, membantu mendukung pengembangan AI yang aman dan bertanggung jawab berdasarkan model Gemma.
Evaluasi yang Andal dan Transparan
Evaluasi yang komprehensif dan pelaporan yang transparan mengungkap batasan model untuk mengadopsi pendekatan yang bertanggung jawab untuk setiap kasus penggunaan.
Mendukung Pengembangan yang Bertanggung Jawab
Toolkit Responsible Generative AI mendukung developer untuk mendesain dan menerapkan praktik terbaik Responsible AI.
Dioptimalkan untuk Google Cloud
Dengan model Gemma di Google Cloud, Anda dapat menyesuaikan model secara mendalam sesuai kebutuhan spesifik Anda dengan alat yang dikelola sepenuhnya oleh Vertex AI atau opsi pengelolaan mandiri GKE, lalu men-deploynya ke infrastruktur yang dioptimalkan untuk AI yang fleksibel dan hemat biaya.
Mempercepat riset akademik dengan kredit Google Cloud
Program Riset Akademik baru-baru ini mengakhiri periode pengajuan permohonannya, dengan memberikan kredit Google Cloud untuk mendukung peneliti yang mendorong batasan penemuan ilmiah menggunakan model Gemma. Kami tidak sabar untuk melihat riset inovatif yang muncul dari inisiatif ini.
Gabung dengan komunitas
Terhubung, jelajahi, dan bagikan pengetahuan Anda dengan orang lain dalam komunitas model ML.