Modele Gemma Open

25-strzałowa

ARC-C

Test porównawczy ARC-c to bardziej precyzyjny podzbiór zbioru danych ARC-e, który zawiera tylko pytania, na które często udzielono odpowiedzi niewłaściwie za pomocą typowych algorytmów (wywołania baz danych i wspólnego występowania słów).

5 strzałów

GSM8K

Test porównawczy GSM8K sprawdza zdolność modelu językowego do rozwiązywania zadań matematycznych na poziomie szkoły podstawowej, które często wymagają wieloetapowego wyciągania wniosków.

3–5 strzałów

AGIEval

Test porównawczy AGIEval sprawdza ogólną inteligencję modelu językowego, używając pytań pochodzących z prawdziwych egzaminów, których celem jest ocena ludzkich zdolności intelektualnych.

3-strzałowe, CT

BBH

Test porównawczy BBH (BIG-Bench Hard) skupia się na zadaniach wykraczających poza możliwości obecnych modeli językowych, testując ich ograniczenia w różnych dziedzinach rozumowania i rozumienia.

3-shoty, F1

UPUŚĆ

DROP to test porównawczy ze zrozumieniem tekstu, który wymaga dyskretnego rozumowania nad akapitami.

5 strzałów

Winograndzka

Test porównawczy Winogrande sprawdza zdolność modelu językowego do rozwiązywania niejednoznacznych zadań, których nie można uzupełnić, za pomocą opcji binarnych, co wymaga uogólnienia zdroworozsądkowego myślenia.

10-strzałowa

HellaSwag

Test porównawczy HellaSwag kwestionuje zdolność modelu językowego do zrozumienia i stosowania zdrowego rozsądku, wybierając najbardziej logiczne zakończenie historii.

4-strzałowe

MATEMATYCZNE

MATEMATYCZNE ocenia zdolność modelu językowego do rozwiązywania złożonych zadań tekstowych, wymagających rozumowania, wieloetapowego rozwiązywania problemów i zrozumienia pojęć matematycznych.

0 strzałów

ARC-e

Test porównawczy ARC-e sprawdza zaawansowane umiejętności odpowiadania na pytania modelu językowego na podstawie autentycznych pytań z nauką jednokrotnego wyboru na poziomie szkoły średniej.

0 strzałów

PIQA

Test porównawczy PIQA sprawdza zdolność modelu językowego do rozumienia i stosowania wiedzy o zdrowym rozsądku, odpowiadając na pytania dotyczące codziennych interakcji fizycznych.

0 strzałów

SIQA

Test porównawczy SIQA służy do oceny zrozumienia interakcji społecznych i zdrowego rozsądku przez model językowy przez zadawanie pytań o działania ludzi i ich konsekwencje społeczne.

0 strzałów

Boolq

Test porównawczy BoolQ sprawdza zdolność modelu językowego do odpowiadania na naturalnie pojawiające się pytania „tak/nie” i sprawdza zdolność modeli do wykonywania zadań związanych z wnioskowaniem w języku naturalnym w świecie rzeczywistym.

5 strzałów

TriviaQA

Test porównawczy TriviaQA sprawdza umiejętność czytania ze zrozumieniem za pomocą potrójnych dowodów na pytanie, odpowiedź i odpowiedź.

5 strzałów

NQ

Test porównawczy NQ (Natural questions) sprawdza zdolność modelu językowego do znajdowania i rozumienia odpowiedzi zawartych w całych artykułach w Wikipedii, symulując rzeczywiste scenariusze odpowiadania na pytania.

karta@1

HumanEval

Test porównawczy HumanEval sprawdza zdolność modelu językowego do generowania kodu, oceniając, czy jego rozwiązania przeszły testy funkcjonalne jednostki programistycznej.

3 uderzenia

MBPP

Test porównawczy MBPP sprawdza zdolność modelu językowego do rozwiązywania podstawowych problemów z programowaniem w języku Python, koncentrując się na podstawowych koncepcjach programowania i standardowym wykorzystaniu bibliotek.