Model terbuka Gemma

Rangkaian model terbuka yang ringan dan canggih, dibangun dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini

Logo Gemma models

Bertanggung jawab secara desain

Dengan menggabungkan langkah-langkah keamanan yang komprehensif, model ini membantu memastikan solusi AI yang bertanggung jawab dan tepercaya melalui set data pilihan dan penyesuaian yang ketat.

Logo Gemma models

Performa yang tidak tertandingi dalam ukuran

Model Gemma mencapai hasil tolok ukur yang luar biasa pada ukuran 2B dan 7B, bahkan mengungguli beberapa model terbuka yang lebih besar.

Logo Gemma models

Framework fleksibel

Dengan Keras 3.0, nikmati kompatibilitas yang lancar dengan JAX, TensorFlow, dan PyTorch, sehingga Anda bisa dengan mudah memilih dan beralih framework, bergantung pada tugas Anda.

Tolok ukur

Gemma menetapkan standar baru untuk performa ukuran yang termutakhir dibandingkan model populer seperti Llama 2 dan Mistral 7B.

5 pukulan, 1 terbaik

MMLU

Tolok ukur MMLU adalah pengujian yang mengukur luasnya pengetahuan dan kemampuan memecahkan masalah yang diperoleh oleh model bahasa besar selama prapelatihan.

0 kali

HellaSwag

Tolok ukur HellaSwag menantang kemampuan model bahasa untuk memahami dan menerapkan penalaran akal sehat dengan memilih akhir cerita yang paling logis.

0 kali

PIQA

Tolok ukur PIQA menguji kemampuan model bahasa untuk memahami dan menerapkan pengetahuan umum fisik dengan menjawab pertanyaan tentang interaksi fisik sehari-hari.

0 kali

SIQA

Tolok ukur SIQA mengevaluasi pemahaman model bahasa tentang interaksi sosial dan akal sehat sosial dengan mengajukan pertanyaan tentang tindakan orang dan implikasi sosialnya.

0 kali

Boolq

Tolok ukur BoolQ menguji kemampuan model bahasa untuk menjawab pertanyaan ya/tidak yang terjadi secara alami (dibuat dalam setelan yang tidak diminta dan tidak terbatas), menguji kemampuan model untuk melakukan tugas inferensi natural language di dunia nyata.

penskoran parsial

Winogrande

Tolok ukur Winogrande menguji kemampuan model bahasa untuk menyelesaikan tugas yang ambigu dengan opsi biner, yang membutuhkan penalaran umum umum.

7 tembakan

CQA

Tolok ukur CQA menilai kinerja model bahasa pada jawaban pertanyaan pilihan ganda, yang membutuhkan berbagai jenis pengetahuan umum.

OBQA

Tolok ukur OBQA mengevaluasi kemampuan model bahasa untuk melakukan jawaban pertanyaan tingkat lanjut dengan penalaran multi-langkah, pengetahuan umum, dan pemahaman rich text, yang dimodelkan berdasarkan ujian buku terbuka.

ARC

Tolok ukur ARC-e menguji keterampilan menjawab pertanyaan tingkat lanjut model bahasa dengan pertanyaan sains pilihan ganda tingkat sekolah dasar yang sesungguhnya.

ARC-c

Tolok ukur ARC-c adalah subset set data ARC-e yang lebih terfokus, yang hanya berisi pertanyaan yang tidak dijawab dengan benar oleh algoritma umum (retrieval-base dan word co-when).

5 tembakan

TriviaQA

Tolok ukur TriviaQA menguji kemampuan pemahaman membaca dengan tiga kali lipat bukti tanya jawab.

lulus@1

HumanEval

Tolok ukur HumanEval menguji kemampuan pembuatan kode model bahasa dengan mengevaluasi apakah solusinya lulus pengujian unit fungsional untuk masalah pemrograman.

3 tembakan

MBPP

Tolok ukur MBPP menguji kemampuan model bahasa untuk memecahkan masalah pemrograman Python dasar, dengan berfokus pada konsep pemrograman dasar dan penggunaan library standar.

maj@1

GSM8K

Tolok ukur GSM8K menguji kemampuan model bahasa untuk memecahkan soal matematika tingkat sekolah dasar yang sering kali memerlukan beberapa langkah penalaran.

4 tembakan

MATH

Tolok ukur MATH mengevaluasi kemampuan model bahasa untuk memecahkan soal cerita matematika yang kompleks, membutuhkan penalaran, pemecahan masalah multilangkah, dan pemahaman konsep matematika.

AGIEval

Tolok ukur AGIEval menguji kecerdasan umum model bahasa dengan menggunakan pertanyaan dari ujian dunia nyata yang dirancang untuk menilai kemampuan intelektual manusia (ujian masuk perguruan tinggi, ujian hukum, dll.).

BBH

Tolok ukur BBH (BIG-Bench Hard) berfokus pada tugas-tugas yang dianggap di luar kemampuan model bahasa saat ini, dengan menguji batas kemampuan di berbagai bidang penalaran dan pemahaman.

100%

75%

50%

25%

0%

100%

75%

50%

25%

0%

Gemma

7 miliar

64,3

Gemma

2 miliar

42,3

Mistral

7 miliar

62,5

LLAMA-2

13b

54,8

LLAMA-2

7 miliar

45,3

Gemma

7 miliar

81,2

Gemma

2 miliar

71,4

Mistral

7 miliar

81,0

LLAMA-2

13b

80,7

LLAMA-2

7 miliar

77,2

Gemma

7 miliar

81,2

Gemma

2 miliar

77,3

Mistral

7 miliar

82,2

LLAMA-2

13b

80,5

LLAMA-2

7 miliar

78,8

Gemma

7 miliar

51,8

Gemma

2 miliar

49,7

Mistral

7 miliar

47,0*

LLAMA-2

13b

50,3

LLAMA-2

7 miliar

48,3

Gemma

7 miliar

83,2

Gemma

2 miliar

69,42

Mistral

7 miliar

83,2*

LLAMA-2

13b

81,7

LLAMA-2

7 miliar

77,4

Gemma

7 miliar

72,3

Gemma

2 miliar

65,4

Mistral

7 miliar

74,2

LLAMA-2

13b

72,8

LLAMA-2

7 miliar

69,2

Gemma

7 miliar

71,3

Gemma

2 miliar

65,3

Mistral

7 miliar

66,3*

LLAMA-2

13b

67,3

LLAMA-2

7 miliar

57,8

Gemma

7 miliar

52,8

Gemma

2 miliar

47,8

Mistral

7 miliar

52,2

LLAMA-2

13b

57,0

LLAMA-2

7 miliar

58,6

Gemma

7 miliar

81,5

Gemma

2 miliar

73,2

Mistral

7 miliar

80,5

LLAMA-2

13b

77,3

LLAMA-2

7 miliar

75,2

Gemma

7 miliar

53,2

Gemma

2 miliar

42,06

Mistral

7 miliar

54,9

LLAMA-2

13b

49,4

LLAMA-2

7 miliar

45,9

Gemma

7 miliar

63,4

Gemma

2 miliar

53,2

Mistral

7 miliar

62,5

LLAMA-2

13b

79,6

LLAMA-2

7 miliar

72,1

Gemma

7 miliar

32,3

Gemma

2 miliar

22,0

Mistral

7 miliar

26,2

LLAMA-2

13b

18,3

LLAMA-2

7 miliar

12,8

Gemma

7 miliar

44,4

Gemma

2 miliar

29,2

Mistral

7 miliar

40,2*

LLAMA-2

13b

30.6

LLAMA-2

7 miliar

20,8

Gemma

7 miliar

46,4

Gemma

2 miliar

17,7

Mistral

7 miliar

35,4*

LLAMA-2

13b

28,7

LLAMA-2

7 miliar

14,6

Gemma

7 miliar

24,3

Gemma

2 miliar

11.8

Mistral

7 miliar

12,7

LLAMA-2

13b

3.9

LLAMA-2

7 miliar

2.5

Gemma

7 miliar

41,7

Gemma

2 miliar

24,2

Mistral

7 miliar

41,2*

LLAMA-2

13b

39,1

LLAMA-2

7 miliar

29,3

Gemma

7 miliar

55.1

Gemma

2 miliar

35,2

Mistral

7 miliar

56,1*

LLAMA-2

13b

39,4

LLAMA-2

7 miliar

32,6

*Lihat laporan teknis untuk detail tentang performa dengan metodologi lain

Pengembangan responsible AI

Tanggung Jawab berdasarkan Desain

Berlatih dengan data yang diseleksi dengan cermat dan mengutamakan keamanan, sehingga membantu mendukung pengembangan AI yang aman dan bertanggung jawab berdasarkan model Gemma.

Evaluasi yang Andal dan Transparan

Evaluasi komprehensif dan pelaporan yang transparan mengungkap batasan model untuk menerapkan pendekatan yang bertanggung jawab untuk setiap kasus penggunaan.

Mendukung Pengembangan yang Bertanggung Jawab

Responsible Generative AI Toolkit mendukung developer untuk mendesain dan menerapkan praktik terbaik Responsible AI.

Ikon Google Cloud

Dioptimalkan untuk Google Cloud

Dengan model Gemma di Google Cloud, Anda dapat menyesuaikan model secara mendalam dengan kebutuhan spesifik Anda menggunakan alat Vertex AI yang terkelola sepenuhnya atau opsi GKE yang dikelola sendiri, serta men-deploy-nya ke infrastruktur yang fleksibel dan hemat biaya dengan AI.

Mempercepat penelitian akademik dengan kredit Google Cloud

Academic Research Program baru-baru ini telah mengakhiri periode penerapannya, dan memberikan kredit Google Cloud untuk mendukung para peneliti yang berhasil menembus batas penemuan ilmiah menggunakan model Gemma. Kami tidak sabar untuk melihat penelitian inovatif yang muncul dari inisiatif ini.

Nantikan peluang mendatang untuk memajukan riset Anda dengan Google Cloud.

Bergabunglah dengan komunitas

Terhubung, jelajahi, dan bagikan pengetahuan Anda dengan orang lain dalam komunitas model ML.