Gemma के ओपन मॉडल

25-शॉट

ARC-C

ARC-c बेंचमार्क, ARC-e डेटासेट का ज़्यादा फ़ोकस वाला सबसेट है. इसमें सिर्फ़ ऐसे सवाल शामिल हैं जिनके जवाब सामान्य (डेटा पाने का आधार और शब्द के साथ आने) वाले एल्गोरिदम का गलत तरीके से दिए गए हैं.

5-shot

जीएसएम8के

GSM8K बेंचमार्क, ग्रेड-स्कूल के गणित के सवालों को हल करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसमें अक्सर रीज़निंग के कई चरणों की ज़रूरत होती है.

3-5-शॉट

AGIEval

एजीआईईवल बेंचमार्क में, भाषा के मॉडल के सामान्य इंटेलिजेंस की जांच की जाती है. इसके लिए, असल दुनिया की परीक्षाओं से मिले सवालों का इस्तेमाल किया जाता है, जो इंसानों की बौद्धिक क्षमताओं का आकलन करने के लिए डिज़ाइन किए गए हैं.

3-शॉट, CoT

BBH

BBH (BIG-Bench Hard) बेंचमार्क, उन टास्क पर फ़ोकस करता है जो मौजूदा लैंग्वेज मॉडल के लिए मुश्किल माने जाते हैं. यह अलग-अलग तरह के डोमेन में, तर्क और समझने की क्षमता की जांच करता है.

तीन शॉट, F1

नीचे झुक जाएं

DROP, पढ़ने और समझने की क्षमता का मानदंड है. इसके लिए पैराग्राफ़ के तौर पर, अलग-अलग तर्क की ज़रूरत होती है.

5-शॉट

विनोग्रांडे

Winogrande बेंचमार्क, किसी भाषा मॉडल की क्षमता की जांच करता है. यह जांच यह पता लगाने के लिए की जाती है कि वह खाली जगहों को भरने वाले ऐसे टास्क को हल कर सकता है या नहीं जिनमें दो विकल्प होते हैं. इन टास्क को हल करने के लिए, सामान्य समझ की ज़रूरत होती है.

10-शॉट

HellaSwag

HellaSwag बेंचमार्क किसी कहानी के सबसे तार्किक अंत को चुनकर, सामान्य ज्ञान से जुड़े तर्क को समझने और उसे लागू करने की भाषा मॉडल की क्षमता को चुनौती देता है.

4-शॉट

MATH

MATH, किसी भाषा मॉडल की गणित के जटिल सवालों को हल करने की क्षमता का आकलन करता है. इसके लिए, रीज़निंग, कई चरणों में समस्या हल करने, और गणित के कॉन्सेप्ट को समझने की ज़रूरत होती है.

0-शॉट

ARC-e

ARC-e बेंचमार्क, भाषा मॉडल की सवालों के जवाब देने की बेहतरीन क्षमताओं की जांच करता है. इसके लिए, यह ग्रेड-स्कूल लेवल के कई विकल्प वाले विज्ञान के सवालों का इस्तेमाल करता है.

0-शॉट

PIQA

PIQA बेंचमार्क, किसी भाषा मॉडल की इस क्षमता की जांच करता है कि वह रोज़मर्रा के कामों के बारे में पूछे गए सवालों के जवाब देकर, सामान्य ज्ञान को समझ और लागू कर सकता है या नहीं.

0-शॉट

SIQA

SIQA मानदंड, लोगों की कार्रवाइयों और उनके सामाजिक असर के बारे में सवाल पूछकर, यह आकलन करता है कि भाषा मॉडल, सामाजिक इंटरैक्शन और सामाजिक सामान्य समझ को कितना समझता है.

0-शॉट

बूल्क

BoolQ बेंचमार्क, स्वाभाविक रूप से हां या नहीं में जवाब देने की भाषा के मॉडल की क्षमता को परखता है. साथ ही, इस मॉडल की मदद से असल दुनिया में प्राकृतिक भाषा का अनुमान लगाने के टास्क कर पाता है.

5-shot

TriviaQA

ट्रिवियाQA बेंचमार्क तीन बार सवालों के जवाब के साथ, समझने की क्षमता की जांच करता है.

5-शॉट

NQ

एनक्यू (नैचुरल सवाल) मानदंड की मदद से, विकिपीडिया के सभी लेखों में जवाब ढूंढने और समझने की भाषा मॉडल की क्षमता की जांच की जाती है. साथ ही, यह जांच की जाती है कि असल दुनिया में किस तरह के सवाल पूछे जाते हैं और इसका जवाब कैसे दिया जाता है.

पास@1

HumanEval

HumanEval बेंचमार्क, किसी भाषा मॉडल की कोड जनरेशन क्षमताओं की जांच करता है. इसके लिए, यह जांच की जाती है कि उसके समाधान, प्रोग्रामिंग से जुड़ी समस्याओं के लिए फ़ंक्शनल यूनिट टेस्ट पास करते हैं या नहीं.

3-शॉट

MBPP

एमबीपीपी बेंचमार्क की मदद से, Python प्रोग्रामिंग से जुड़ी बुनियादी समस्याओं को हल करने में भाषा मॉडल की क्षमता की जांच की जाती है. इसमें, प्रोग्रामिंग के बुनियादी सिद्धांतों और स्टैंडर्ड लाइब्रेरी के इस्तेमाल पर ध्यान दिया जाता है.