Gemma Açık Modelleri

0 Atış

HellaSwag

HellaSwag karşılaştırması, bir dil modelinin bir hikayeye en mantıklı son halini seçerek sağduyulu akıl yürütmeyi anlama ve uygulama becerisini test eder.

0 Atış

200.000

PIQA karşılaştırması, bir dil modelinin günlük fiziksel etkileşimlere ilişkin soruları cevaplayarak fiziksel sağduyu bilgisini anlama ve uygulama becerisini test eder.

0 Atış

SIQA

SIQA karşılaştırması, bir dil modelinin, insanların eylemleri ve sosyal sonuçları hakkında sorular sorarak sosyal etkileşimler ve sosyal sağduyuyu anlama düzeyini değerlendirir.

0 Atış

Boolq

BoolQ karşılaştırması, bir dil modelinin doğal olarak ortaya çıkan (istenmeyen ve kısıtlanmamış ortamlarda oluşturulan) evet/hayır sorularını yanıtlama yeteneğini test eder ve modellerin, gerçek dünyadaki doğal dil çıkarımı görevlerini yapma yeteneğini test eder.

kısmi puanlama

Şarap Yeşili

Winogrande karşılaştırması bir dil modelinin, genelleştirilmiş sağduyulu akıl yürütme gerektiren ikili seçeneklerle belirsiz boşlukları doldurma görevlerini çözme becerisini test eder.

7 Çekim

CQA (Kalite Güvencesi)

CQA karşılaştırma özelliği, farklı türde sağduyuya dayalı bilgi gerektiren çoktan seçmeli soru cevaplarında dil modellerinin performansını değerlendirir.

OBQA (OBQA)

OBQA karşılaştırması bir dil modelinin, açık kitap sınavlarına göre modellenmiş çok adımlı akıl yürütme, sağduyulu bilgi ve zengin metin anlama ile ileri düzey soru cevaplama becerisini değerlendirir.

ARC-e

ARC-e karşılaştırması, bir dil modelinin ileri düzey soru yanıtlama becerilerini ilkokul düzeyinde, çoktan seçmeli bilimsel sorularla test eder.

ARC-c

ARC-c karşılaştırması, ARC-e veri kümesinin daha odaklanmış bir alt kümesidir ve yalnızca ortak (alma-tabanı ve kelime birlikte tekrarı) algoritmaları tarafından yanlış yanıtlanan soruları içerir.

5 Atış

TriviaQA

TriviaQA karşılaştırma özelliği, okumayı anlama becerilerini soru-cevap-kanıt üçlülerini kullanarak test eder.

kart@1

HumanEval

HumanEval karşılaştırması, bir dil modelinin çözümlerinin programlama problemlerine yönelik işlevsel birim testlerini geçip geçmediğini değerlendirerek kod oluşturma yeteneklerini test eder.

3 Çekim

MBPP

MBPP karşılaştırması, temel programlama kavramlarına ve standart kütüphane kullanımına odaklanarak bir dil modelinin temel Python programlama problemlerini çözme becerisini test eder.

maj@1

GSM8K

GSM8K karşılaştırması, bir dil modelinin, genellikle birden çok akıl yürütme adımı gerektiren okul düzeyi matematik problemlerini çözme yeteneğini test eder.

4 Çekim

MATH

MATH karşılaştırması bir dil modelinin, akıl yürütme, çok adımlı problem çözme ve matematiksel kavramları anlamayı gerektiren karmaşık matematik problemlerini çözme yeteneğini değerlendirir.

AGIEval

AGIEval karşılaştırması, insanların zihinsel yeteneklerini değerlendirmek için tasarlanmış gerçek dünya sınavlarından türetilen soruları (üniversite giriş sınavları, hukuk sınavları vb.) kullanarak bir dil modelinin genel zekasını test eder.

BH

BBH (BIG-Bench Hard) karşılaştırma standardı, mevcut dil modellerinin yeteneklerinin ötesinde değerlendirilen görevlere odaklanır ve çeşitli akıl yürütme ve anlama alanlarında bunların sınırlarını test eder.