โมเดล Gemma Open

ตระกูลของโมเดลแบบเปิดที่ทันสมัยและมีน้ำหนักเบา สร้างขึ้นจากการวิจัยและเทคโนโลยีเดียวกันกับที่ใช้สร้างโมเดล Gemini

โลโก้ Gemma Model

ออกแบบอย่างมีความรับผิดชอบ

โมเดลเหล่านี้ใช้มาตรการความปลอดภัยที่ครอบคลุม เพื่อช่วยให้มั่นใจว่าโซลูชัน AI ที่มีความรับผิดชอบและน่าเชื่อถือผ่านชุดข้อมูลที่คัดสรรมาเป็นอย่างดีและการปรับแต่งที่เข้มงวด

โลโก้ Gemma Model

ประสิทธิภาพที่ขนาดไม่เท่ากัน

โมเดลของ Gemma ให้ผลลัพธ์การเปรียบเทียบที่ยอดเยี่ยมในขนาด 2B และ 7B แม้ว่ามีประสิทธิภาพดีกว่าโมเดลแบบเปิดขนาดใหญ่บางรุ่นด้วยซ้ำ

โลโก้ Gemma Model

เฟรมเวิร์กที่ยืดหยุ่น

ด้วย Keras 3.0 คุณจะเพลิดเพลินไปกับการใช้งานร่วมกับ JAX, TensorFlow และ PyTorch ได้อย่างราบรื่น ซึ่งจะช่วยให้คุณเลือกและเปลี่ยนเฟรมเวิร์กได้ง่ายๆ ตามงานที่ทำอยู่

คู่มือเริ่มใช้งานฉบับย่อสำหรับนักพัฒนาซอฟต์แวร์

การเปรียบเทียบ

Gemma สร้างมาตรฐานใหม่ของประสิทธิภาพที่ล้ำสมัยสำหรับขนาดเมื่อเทียบกับรุ่นยอดนิยมอย่าง Llama 2 และ Mistral 7B

ยิง 5 ลูก, ติดอันดับ 1

MMLU

การเปรียบเทียบ MMLU คือการทดสอบที่วัดขอบเขตความรู้และความสามารถในการแก้ปัญหาที่ได้รับจากโมเดลภาษาขนาดใหญ่ระหว่างการฝึกอบรมล่วงหน้า

ยิงลูก 0

HellaSwag

การเปรียบเทียบ HellaSwag ท้าทายความสามารถของโมเดลภาษาในการทำความเข้าใจและใช้การให้เหตุผลทั่วไปด้วยการเลือกตอนจบที่สมเหตุสมผลที่สุดสำหรับเรื่องราวนั้นๆ

ยิงลูก 0

PIQA

การเปรียบเทียบ PIQA จะทดสอบความสามารถของโมเดลภาษาในการทำความเข้าใจและนำความรู้สามัญสำนึกทางกายภาพไปใช้ โดยตอบคำถามเกี่ยวกับการโต้ตอบทางร่างกายในชีวิตประจำวัน

ยิงลูก 0

SIQA

การเปรียบเทียบ SIQA จะประเมินความเข้าใจของโมเดลภาษาเกี่ยวกับการโต้ตอบทางสังคมและสามัญสำนึกทางสังคมโดยการถามคำถามเกี่ยวกับการกระทำของผู้คนและผลกระทบทางสังคมของบุคคลเหล่านั้น

ยิงลูก 0

บูลก์

การเปรียบเทียบ BoolQ จะทดสอบความสามารถของโมเดลภาษาในการตอบคำถามที่เกิดขึ้นอย่างเป็นธรรมชาติ (สร้างขึ้นในการตั้งค่าที่ไม่ได้กำหนดและไม่จำกัด) คำถามแบบใช่/ไม่ใช่ การทดสอบความสามารถของโมเดลในการทำงานอนุมานภาษาธรรมชาติในชีวิตจริง

การให้คะแนนบางส่วน

วิโนแกรนด์

การเปรียบเทียบ Winogrande จะทดสอบความสามารถของโมเดลภาษาในการแก้ไขงานการเติมข้อมูลในช่องว่างที่ไม่ชัดเจนด้วยไบนารีออปชัน ซึ่งต้องใช้การให้เหตุผลตามแนวคิดทั่วไป

ยิง 7 ช็อต

CQA

การเปรียบเทียบ CQA จะประเมินประสิทธิภาพของโมเดลภาษาในการตอบคำถามแบบหลายตัวเลือก ซึ่งต้องใช้ความรู้สามัญสำนึกประเภทต่างๆ

OBQA

การเปรียบเทียบ OBQA จะประเมินความสามารถของโมเดลภาษาในการตอบคำถามขั้นสูงโดยใช้การให้เหตุผลแบบหลายขั้นตอน ความรู้สามัญสำนึก และความเข้าใจเกี่ยวกับข้อความที่มีรูปแบบ

ARC-E

การเปรียบเทียบ ARC-e จะทดสอบทักษะการตอบคำถามขั้นสูงของโมเดลภาษาด้วยคำถามทางวิทยาศาสตร์แบบหลายตัวเลือกตามระดับชั้นประถมศึกษา

ARC-C

การเปรียบเทียบ ARC-c เป็นชุดย่อยของชุดข้อมูล ARC-e ที่มุ่งเน้นความเฉพาะเจาะจงมากกว่า โดยจะมีเฉพาะคำถามที่ตอบอย่างไม่ถูกต้องจากอัลกอริทึมทั่วไป (การดึงข้อมูลจากฐานและคำ) เท่านั้น

ยิง 5 ลูก

TriviaQA

การเปรียบเทียบ TriviaQA จะทดสอบทักษะการอ่านทำความเข้าใจโดยแบ่งคำถาม-คำตอบออกเป็น 3 ส่วน

บัตร@1

HumanEval

การเปรียบเทียบ HumanEval จะทดสอบความสามารถในการสร้างโค้ดของโมเดลภาษาโดยประเมินว่าโซลูชันของโมเดลผ่านการทดสอบหน่วยการทำงานสำหรับปัญหาการเขียนโปรแกรมหรือไม่

ยิง 3 ช็อต

MBPP

การเปรียบเทียบ MBPP จะทดสอบความสามารถของโมเดลภาษาในการแก้ปัญหาการเขียนโปรแกรมพื้นฐานของ Python โดยเน้นที่แนวคิดการเขียนโปรแกรมขั้นพื้นฐานและการใช้งานไลบรารีมาตรฐาน

maj@1

GSM8K

การเปรียบเทียบ GSM8K จะทดสอบความสามารถของโมเดลภาษาในการแก้โจทย์คณิตศาสตร์ระดับชั้นประถมศึกษาที่มักจะต้องใช้การให้เหตุผลหลายขั้นตอน

4 ช็อต

MATH

การเปรียบเทียบทางคณิตศาสตร์จะประเมินความสามารถของโมเดลภาษาในการแก้โจทย์ปัญหาทางคณิตศาสตร์ที่ซับซ้อน ซึ่งต้องใช้การให้เหตุผล การแก้ปัญหาแบบหลายขั้นตอน และความเข้าใจในแนวคิดทางคณิตศาสตร์

AGIEval

การเปรียบเทียบ AGIEval จะทดสอบความอัจฉริยะทั่วไปของโมเดลภาษาโดยใช้คำถามที่ได้จากการสอบในชีวิตจริงที่ออกแบบมาเพื่อประเมินความสามารถทางสติปัญญาของมนุษย์ (การสอบเข้ามหาวิทยาลัย การสอบนิติศาสตร์ ฯลฯ)

BBH

การเปรียบเทียบของ BBH (BIG-Bench Hard) จะมุ่งเน้นงานใดก็ตามที่ถือว่าอยู่นอกเหนือความสามารถของโมเดลภาษาปัจจุบัน โดยทดสอบขีดจำกัดในโดเมนการให้เหตุผลและการทำความเข้าใจต่างๆ

100%

75%

50%

25%

0%

100%

75%

50%

25%

0%

Gemma

7 ข.

64.3

Gemma

2 ข.

42.3

มิสทัล

7 ข.

62.5

LLAMA-2

13 ข.

54.8

LLAMA-2

7 ข.

45.3

Gemma

7 ข.

81.2

Gemma

2 ข.

71.4

มิสทัล

7 ข.

81.0

LLAMA-2

13 ข.

80.7

LLAMA-2

7 ข.

77.2

Gemma

7 ข.

81.2

Gemma

2 ข.

77.3

มิสทัล

7 ข.

82.2

LLAMA-2

13 ข.

80.5

LLAMA-2

7 ข.

78.8

Gemma

7 ข.

51.8

Gemma

2 ข.

49.7

มิสทัล

7 ข.

47.0*

LLAMA-2

13 ข.

50.3

LLAMA-2

7 ข.

48.3

Gemma

7 ข.

83.2

Gemma

2 ข.

694.20

มิสทัล

7 ข.

83.2*

LLAMA-2

13 ข.

81.7

LLAMA-2

7 ข.

77.4

Gemma

7 ข.

72.3

Gemma

2 ข.

65.4

มิสทัล

7 ข.

74.2

LLAMA-2

13 ข.

72.8

LLAMA-2

7 ข.

69.2

Gemma

7 ข.

71.3

Gemma

2 ข.

65.3

มิสทัล

7 ข.

66.3*

LLAMA-2

13 ข.

67.3

LLAMA-2

7 ข.

57.8

Gemma

7 ข.

52.8

Gemma

2 ข.

47.8

มิสทัล

7 ข.

52.2

LLAMA-2

13 ข.

57.0

LLAMA-2

7 ข.

58.6

Gemma

7 ข.

81.5

Gemma

2 ข.

73.2

มิสทัล

7 ข.

80.5

LLAMA-2

13 ข.

77.3

LLAMA-2

7 ข.

75.2

Gemma

7 ข.

53.2

Gemma

2 ข.

42.06

มิสทัล

7 ข.

54.9

LLAMA-2

13 ข.

49.4

LLAMA-2

7 ข.

45.9

Gemma

7 ข.

63.4

Gemma

2 ข.

53.2

มิสทัล

7 ข.

62.5

LLAMA-2

13 ข.

79.6

LLAMA-2

7 ข.

72.1

Gemma

7 ข.

32.3

Gemma

2 ข.

22.0

มิสทัล

7 ข.

26.2

LLAMA-2

13 ข.

18.3

LLAMA-2

7 ข.

12.8

Gemma

7 ข.

44.4

Gemma

2 ข.

29.2

มิสทัล

7 ข.

40.2*

LLAMA-2

13 ข.

30.6

LLAMA-2

7 ข.

20.8

Gemma

7 ข.

46.4

Gemma

2 ข.

17.7

มิสทัล

7 ข.

35.4*

LLAMA-2

13 ข.

28.7

LLAMA-2

7 ข.

14.6

Gemma

7 ข.

24.3

Gemma

2 ข.

11.8

มิสทัล

7 ข.

12.7

LLAMA-2

13 ข.

3.9

LLAMA-2

7 ข.

2.5

Gemma

7 ข.

41.7

Gemma

2 ข.

24.2

มิสทัล

7 ข.

41.2*

LLAMA-2

13 ข.

39.1

LLAMA-2

7 ข.

29.3

Gemma

7 ข.

55.1

Gemma

2 ข.

35.2

มิสทัล

7 ข.

56.1*

LLAMA-2

13 ข.

39.4

LLAMA-2

7 ข.

32.6

*ดูรายงานทางเทคนิคเพื่อดูรายละเอียดเกี่ยวกับประสิทธิภาพด้วยวิธีการอื่นๆ

การพัฒนา AI อย่างมีความรับผิดชอบ

ความรับผิดชอบจากการออกแบบ

ผ่านการฝึกล่วงหน้าด้วยข้อมูลที่ได้รับการดูแลจัดการอย่างดีและเตรียมพร้อมเพื่อความปลอดภัยไว้ได้อย่างดีที่สุด ซึ่งจะช่วยส่งเสริมการพัฒนา AI ที่ปลอดภัยและมีความรับผิดชอบโดยใช้โมเดลของ Gemma

การประเมินที่โปร่งใสและแข็งแกร่ง

การประเมินที่ครอบคลุมและการรายงานที่โปร่งใสเผยให้เห็นข้อจำกัดของโมเดลที่จะนำแนวทางที่รับผิดชอบไปใช้กับกรณีการใช้งานแต่ละกรณี

ขับเคลื่อนการพัฒนาอย่างมีความรับผิดชอบ

ชุดเครื่องมือ Generative AI ที่มีความรับผิดชอบจะช่วยนักพัฒนาแอปในการออกแบบและนำแนวทางปฏิบัติแนะนำสำหรับ AI ที่มีความรับผิดชอบ

ไอคอน Google Cloud

เพิ่มประสิทธิภาพเพื่อ Google Cloud

โมเดลของ Gemma บน Google Cloud จะช่วยให้คุณปรับแต่งโมเดลได้อย่างลึกซึ้งตามความต้องการเฉพาะโดยใช้เครื่องมือที่มีการจัดการครบวงจรของ Vertex AI หรือตัวเลือกแบบจัดการด้วยตนเองของ GKE และติดตั้งใช้งานในโครงสร้างพื้นฐานที่เพิ่มประสิทธิภาพโดย AI ที่ยืดหยุ่นและประหยัดค่าใช้จ่าย

การเร่งการวิจัยทางวิชาการด้วยเครดิต Google Cloud

โครงการวิจัยทางวิชาการได้สิ้นสุดลงแล้วเมื่อไม่นานมานี้ โดยมอบเครดิต Google Cloud เพื่อสนับสนุนนักวิจัยที่ช่วยขยายขอบเขตการค้นพบทางวิทยาศาสตร์โดยใช้โมเดลของ Gemma เรารู้สึกตื่นเต้นที่จะได้เห็นงานวิจัยล้ำยุคซึ่งเกิดจากโครงการริเริ่มนี้

โปรดติดตามโอกาสในการพัฒนาการวิจัยกับ Google Cloud ในอนาคต

เข้าร่วมชุมชน

เชื่อมต่อ สำรวจ และแชร์ความรู้กับคนอื่นๆ ในชุมชนโมเดล ML

แข่งขันในการสร้างผู้ช่วย AI ที่ดีที่สุดสำหรับวิศวกร ML

Kaggle จัดการแข่งขันเพื่อท้าทายผู้เข้าร่วมให้นำโมเดลของ Gemma มาใช้สร้างผู้ช่วย AI ที่ดีที่สุดสำหรับงานวิศวกรรม ML จะมีการประกาศผู้ชนะที่ Google I/O

เข้าร่วมการแข่งขัน
ถ้วยรางวัลการแข่งขัน Kaggle