Gemma ओपन मॉडल

0-शॉट

HellaSwag

HellaSwag का मानदंड, भाषा के मॉडल को किसी कहानी का सबसे तार्किक अंत चुनकर, अपनी सामान्य सूझ-बूझ को समझने और लागू करने की क्षमता को चुनौती देता है.

0-शॉट

पीआईक्यूए

PIQA मानदंड, रोज़ाना की शारीरिक गतिविधियों से जुड़े सवालों के जवाब देकर, भाषा मॉडल की शारीरिक सामान्य ज्ञान को समझने और लागू करने की क्षमता की जांच करता है.

0-शॉट

एसआईक्यूए

SIQA मानदंड, लोगों की गतिविधियों और उनके सामाजिक असर के बारे में सवाल पूछकर, किसी भाषा मॉडल की सामाजिक इंटरैक्शन और सामाजिक समझ को समझने की समझ का मूल्यांकन करता है.

0-शॉट

बूक

BoolQ मानदंड, हां/नहीं वाले सवालों के जवाब देने की भाषा के मॉडल की क्षमता की जांच करता है. इससे, वह असली भाषा का अनुमान लगाने वाले टास्क करने की मॉडल की क्षमता की जांच करता है.

पार्शियल स्कोरिंग

विनोग्रांड

Winogrande मानदंड, भाषा मॉडल की क्षमता की जांच करता है. इससे वह बाइनरी विकल्पों की मदद से, खाली जगहों पर भरे टास्क को आसानी से हल कर पाता है. इसके लिए, सामान्य नियमों को समझना ज़रूरी होता है.

सात-शॉट

सीक्यूए

CQA मानदंड, भाषा के मॉडल की परफ़ॉर्मेंस का आकलन कई विकल्प वाले सवालों के जवाब देने के आधार पर करता है. इसमें अलग-अलग तरह की सामान्य जानकारी की ज़रूरत होती है.

ओबीक्यूए

OBQA मानदंड, ओपन बुक की परीक्षाओं के बाद कई चरणों वाली रीज़निंग, कॉमनसेंस नॉलेज, और रिच टेक्स्ट कॉम्प्रिहेंसन की मदद से, बेहतर सवाल-जवाब करने की लैंग्वेज मॉडल की क्षमता का आकलन करता है.

एआरसी-ई

ARC-e मानदंड, भाषा मॉडल के सवालों के जवाब देने के बेहतर कौशल की जांच करता है. इसके लिए, ग्रेड-स्कूल लेवल के सही और कई विकल्प वाले विज्ञान के सवालों का इस्तेमाल किया जाता है.

एआरसी-सी

ARC-c मानदंड, ARC-e डेटासेट का ज़्यादा फ़ोकस वाला सबसेट है. इसमें सिर्फ़ उन सवालों के ही जवाब दिए गए हैं जिनके जवाब सामान्य (रिकवरी-बेस और शब्द एक साथ होने वाले) एल्गोरिदम की मदद से गलत तरीके से दिए गए हैं.

पांच शॉट

TriviaQA

TriviaQA का मानदंड, सवाल-जवाब के तौर पर तीन गुना की मदद से पढ़ने और समझने की क्षमता की जांच करता है.

पास@1

HumanEval

HumanEval का मानदंड, भाषा मॉडल की कोड जनरेट करने की क्षमताओं की जांच करता है. इसके लिए, यह आकलन किया जाता है कि इसके समाधान, प्रोग्रामिंग से जुड़ी समस्याओं के लिए फ़ंक्शनल यूनिट टेस्ट में पास होते हैं या नहीं.

तीन-शॉट

एमबीपीपी

एमबीPP मानदंड, Python प्रोग्रामिंग की बुनियादी समस्याओं को हल करने की लैंग्वेज मॉडल की क्षमता की जांच करता है. इसमें बुनियादी प्रोग्रामिंग सिद्धांतों और स्टैंडर्ड लाइब्रेरी के इस्तेमाल पर फ़ोकस किया जाता है.

maj@1

GSM8K

GSM8K मानदंड, ग्रेड-स्कूल की गणित की ऐसी समस्याओं को हल करने के लिए लैंग्वेज मॉडल की क्षमता की जांच करता है जिन्हें अक्सर कई चरणों वाली रीज़निंग की ज़रूरत होती है.

चार-शॉट

MATH

MATH मानदंड, गणित के मुश्किल सवालों को हल करने में लैंग्वेज मॉडल की क्षमता का आकलन करता है. इसके लिए, तर्क करने, कई चरणों वाली समस्याओं के समाधान, और गणित के कॉन्सेप्ट को समझना ज़रूरी होता है.

AGIEval

AGIEval बेंचमार्क, भाषा के मॉडल की सामान्य इंटेलिजेंस की जांच करता है. इसके लिए, यह मानवीय बौद्धिक क्षमताओं का आकलन करने के लिए, असल दुनिया की परीक्षाओं में पूछे गए सवालों का इस्तेमाल करता है. इन परीक्षाओं में कॉलेज में प्रवेश की परीक्षाएं, कानूनी परीक्षा वगैरह शामिल हैं.

बीबीएच

BBH (BIG-Bench हार्ड) मानदंड, मौजूदा भाषा मॉडल की क्षमताओं से आगे के कामों पर ध्यान देता है. साथ ही, अलग-अलग रीज़निंग और डोमेन में उनकी सीमाओं की जांच करता है.