Model Terbuka Gemma
Rangkaian model terbuka yang ringan dan canggih, dibangun dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini
Memperkenalkan
Gemma 2
Didesain ulang untuk performa luar biasa dan efisiensi yang tak tertandingi, Gemma 2 mengoptimalkan inferensi super cepat pada beragam hardware.
5 tembakan
MMLU
Tolok ukur MMLU adalah pengujian yang mengukur luasnya pengetahuan dan kemampuan memecahkan masalah yang diperoleh oleh model bahasa besar selama prapelatihan.
25 kali
ARC-C
Tolok ukur ARC-c adalah subset set data ARC-e yang lebih terfokus, yang hanya berisi pertanyaan yang tidak dijawab dengan benar oleh algoritma umum (retrieval-base dan word co-first).
5 tembakan
GSM8K
Tolok ukur GSM8K menguji kemampuan model bahasa untuk memecahkan soal matematika tingkat sekolah dasar yang sering kali memerlukan beberapa langkah penalaran.
3-5 tembakan
AGIEval
Tolok ukur AGIEval menguji kecerdasan umum model bahasa dengan menggunakan pertanyaan dari ujian dunia nyata yang dirancang untuk menilai kemampuan intelektual manusia.
3 kali tembakan, Karet
BBH
Tolok ukur BBH (BIG-Bench Hard) berfokus pada tugas-tugas yang dianggap di luar kemampuan model bahasa saat ini, dengan menguji batas kemampuan di berbagai bidang penalaran dan pemahaman.
3 pukulan, F1
LEPASKAN
DROP adalah tolok ukur pemahaman bacaan yang memerlukan penalaran diskret atas paragraf.
5 tembakan
Winogrande
Tolok ukur Winogrande menguji kemampuan model bahasa untuk menyelesaikan tugas yang ambigu dengan opsi biner, yang membutuhkan penalaran umum umum.
10 kali
HellaSwag
Tolok ukur HellaSwag menantang kemampuan model bahasa untuk memahami dan menerapkan penalaran akal sehat dengan memilih akhir cerita yang paling logis.
4 tembakan
MATH
MATH mengevaluasi kemampuan model bahasa untuk memecahkan soal cerita matematika yang kompleks, membutuhkan penalaran, pemecahan masalah multilangkah, dan pemahaman konsep matematika.
0 kali
ARC-e
Tolok ukur ARC-e menguji keterampilan menjawab pertanyaan tingkat lanjut model bahasa dengan pertanyaan sains pilihan ganda tingkat sekolah dasar yang sesungguhnya.
0 kali
PIQA
Tolok ukur PIQA menguji kemampuan model bahasa untuk memahami dan menerapkan pengetahuan umum fisik dengan menjawab pertanyaan tentang interaksi fisik sehari-hari.
0 kali
SIQA
Tolok ukur SIQA mengevaluasi pemahaman model bahasa tentang interaksi sosial dan akal sehat sosial dengan mengajukan pertanyaan tentang tindakan orang dan implikasi sosialnya.
0 kali
Boolq
Tolok ukur BoolQ menguji kemampuan model bahasa untuk menjawab pertanyaan ya/tidak yang terjadi secara alami, menguji kemampuan model untuk melakukan tugas inferensi natural language di dunia nyata.
5 tembakan
TriviaQA
Tolok ukur TriviaQA menguji kemampuan pemahaman membaca dengan tiga kali lipat bukti tanya jawab.
5 tembakan
NQ
Tolok ukur NQ (Natural Questions) menguji kemampuan model bahasa untuk menemukan dan memahami jawaban di seluruh artikel Wikipedia, dengan menyimulasikan skenario tanya jawab di dunia nyata.
lulus@1
HumanEval
Tolok ukur HumanEval menguji kemampuan pembuatan kode model bahasa dengan mengevaluasi apakah solusinya lulus pengujian unit fungsional untuk masalah pemrograman.
3 tembakan
MBPP
Tolok ukur MBPP menguji kemampuan model bahasa untuk memecahkan masalah pemrograman Python dasar, dengan berfokus pada konsep pemrograman dasar dan penggunaan library standar.
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
LLAMA 3
8 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
Gemma 1
2,5 M
Gemma 2
2,6 M
Mistral
7 M
Gemma 1
7 M
Gemma 2
9 miliar
Gemma 2
27 M
*Ini adalah tolok ukur untuk model terlatih. Lihat laporan teknis untuk mengetahui detail performa dengan metodologi lain.
Kelompok model Gemma
Pelajari alat kami
Panduan memulai cepat untuk developer
Panduan memulai cepat partner
Buku Resep Gemma
Jelajahi koleksi resep dan contoh praktis yang menunjukkan kecanggihan dan fleksibilitas Gemma untuk tugas-tugas seperti pemberian teks pada gambar dengan PaliGemma, pembuatan kode dengan CodeGemma, dan membangun chatbot dengan model Gemma yang telah disesuaikan.
Pengembangan Responsible AI
Tanggung Jawab berdasarkan Desain
Berlatih dengan data yang diseleksi dengan cermat dan mengutamakan keamanan, sehingga membantu mendukung pengembangan AI yang aman dan bertanggung jawab berdasarkan model Gemma.
Evaluasi yang Andal dan Transparan
Evaluasi komprehensif dan pelaporan yang transparan mengungkap batasan model untuk menerapkan pendekatan yang bertanggung jawab untuk setiap kasus penggunaan.
Mendukung Pengembangan yang Bertanggung Jawab
Responsible Generative AI Toolkit mendukung developer untuk mendesain dan menerapkan praktik terbaik Responsible AI.
Dioptimalkan untuk Google Cloud
Dengan model Gemma di Google Cloud, Anda dapat menyesuaikan model secara mendalam dengan kebutuhan spesifik Anda menggunakan alat Vertex AI yang terkelola sepenuhnya atau opsi GKE yang dikelola sendiri, serta men-deploy-nya ke infrastruktur yang fleksibel dan hemat biaya dengan AI.
Mempercepat penelitian akademik dengan kredit Google Cloud
Academic Research Program baru-baru ini telah mengakhiri periode penerapannya, dan memberikan kredit Google Cloud untuk mendukung para peneliti yang berhasil menembus batas penemuan ilmiah menggunakan model Gemma. Kami tidak sabar untuk melihat penelitian inovatif yang muncul dari inisiatif ini.
Gabung dengan komunitas
Terhubung, jelajahi, dan bagikan pengetahuan Anda dengan orang lain dalam komunitas model ML.