जेमा ओपन मॉडल

0-शॉट

HellaSwag

HellaSwag बेंचमार्क किसी कहानी के सबसे तार्किक अंत को चुनकर, सामान्य ज्ञान से जुड़े तर्क को समझने और उसे लागू करने की भाषा मॉडल की क्षमता को चुनौती देता है.

0-शॉट

पीआईक्यूए

PIQA बेंचमार्क की मदद से, रोज़मर्रा की शारीरिक बातचीत से जुड़े सवालों के जवाब देकर, भाषा के मॉडल की शारीरिक सामान्य ज्ञान को समझने और उसे लागू करने की क्षमता को परखा जाता है.

0-शॉट

एसआईक्यूए

SIQA बेंचमार्क लोगों की कार्रवाइयों और उनके सामाजिक असर के बारे में सवाल पूछकर, किसी भाषा के मॉडल की सामाजिक इंटरैक्शन और सामाजिक आम समझ का आकलन करता है.

0-शॉट

बूल्क

BoolQ बेंचमार्क, हां या नहीं में जवाब देने के लिए स्वाभाविक रूप से जनरेट होने वाले (बिना सवाल वाली और सीमित सेटिंग में जनरेट किए गए) भाषा मॉडल की क्षमता का परीक्षण करता है. इससे मॉडल की असल दुनिया की प्राकृतिक भाषा का अनुमान लगाने के टास्क करने की क्षमता की जांच की जाती है.

आंशिक स्कोर

विनोग्रांडे

विनोग्रांडे बेंचमार्क, बाइनरी विकल्पों की मदद से मुश्किल भरे कामों को पूरा करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसके लिए सामान्य सामान्य सामान्य तर्क की ज़रूरत होती है.

7-शॉट

सीक्यूए

CQA का मानदंड, कई विकल्पों वाले सवालों के जवाब देने के लिए लैंग्वेज मॉडल की परफ़ॉर्मेंस का आकलन करता है. इसके लिए, अलग-अलग तरह के सामान्य ज्ञान की ज़रूरत होती है.

ओबीक्यूए

OBQA मानदंड की मदद से यह आकलन किया जाता है कि लैंग्वेज मॉडल, सवालों के बेहतर जवाब दे सकता है या नहीं. इसके लिए, कई चरणों वाली रीज़निंग, सामान्य ज्ञान, और टेक्स्ट समझने की क्षमता का इस्तेमाल किया जाता है. इस मॉडल को ओपन बुक की परीक्षा के बाद तैयार किया जाता है.

एआरसी-ई

ARC-e बेंचमार्क की टेक्नोलॉजी, भाषा से जुड़े ऐडवांस लेवल के सवालों के जवाब देने के ऐडवांस कौशल की जांच करती है. इसके लिए, ग्रेड-स्कूल लेवल के कई विकल्प वाले विज्ञान के सवालों का इस्तेमाल किया जाता है.

एआरसी-सी

ARC-c बेंचमार्क, ARC-e डेटासेट का ज़्यादा फ़ोकस वाला सबसेट है. इसमें सिर्फ़ ऐसे सवाल शामिल हैं जिनके जवाब सामान्य (डेटा पाने का आधार और शब्द के साथ आने) वाले एल्गोरिदम का गलत तरीके से दिए गए हैं.

5-शॉट

TriviaQA

ट्रिवियाQA बेंचमार्क तीन बार सवाल-जवाब के साथ, पढ़ने और समझने की क्षमता की जांच करता है.

पास@1

HumanEval

HumanEval बेंचमार्क, लैंग्वेज मॉडल के कोड जनरेट करने की क्षमताओं की जांच करता है. इसके लिए, यह आकलन किया जाता है कि इसके समाधान, प्रोग्रामिंग से जुड़ी समस्याओं के लिए फ़ंक्शनल यूनिट टेस्ट को पास करते हैं या नहीं.

3-शॉट

एमबीपीपी

MBPP मानदंड, Python प्रोग्रामिंग की बुनियादी समस्याओं को हल करने में भाषा मॉडल की क्षमता की जांच करता है. इसमें बुनियादी प्रोग्रामिंग सिद्धांतों और स्टैंडर्ड लाइब्रेरी के इस्तेमाल पर ध्यान दिया जाता है.

maj@1

जीएसएम8के

GSM8K बेंचमार्क, ग्रेड-स्कूल के गणित के सवालों को हल करने में भाषा के मॉडल की क्षमता का परीक्षण करता है, जिसमें अक्सर रीज़निंग के कई चरणों की ज़रूरत होती है.

4-शॉट

MATH

MATH बेंचमार्क, गणित के जटिल शब्द सवालों को हल करने में भाषा के मॉडल की क्षमता का आकलन करता है. इसमें तर्क के साथ, कई चरणों में सवाल हल करना, और गणित के सिद्धांतों को समझना ज़रूरी होता है.

AGIEval

एजीआईईवल बेंचमार्क में, भाषा के मॉडल के सामान्य इंटेलिजेंस की जांच की जाती है. इसके लिए, असल दुनिया की परीक्षाओं से मिले सवालों का इस्तेमाल किया जाता है. इन सवालों को, इंसान की बौद्धिक क्षमताओं (कॉलेज की प्रवेश परीक्षा, कानून परीक्षा वगैरह) का आकलन करने के लिए डिज़ाइन किया जाता है.

बीबीएच

BBH (बिग-बेंच हार्ड) बेंचमार्क, उन कामों पर फ़ोकस करता है जो भाषा के मौजूदा मॉडल की क्षमताओं से परे माने जाते हैं. साथ ही, इसमें अलग-अलग रीज़निंग और समझ वाले डोमेन की सीमाओं की जांच की जाती है.