Modele Gemma Open

0 strzałów

HellaSwag

Test HellaSwag podważa zdolność modelu językowego do rozumienia i stosowania zdrowego rozsądku, wybierając najbardziej logiczne zakończenie historii.

0 strzałów

PIQA

Test porównawczy PIQA sprawdza zdolność modelu językowego do rozumienia i stosowania zdrowej wiedzy fizycznej przez udzielenie odpowiedzi na pytania dotyczące codziennych interakcji fizycznych.

0 strzałów

SIQA

Test SIQA pozwala ocenić rozumienie interakcji społecznych i zdrowego rozsądku przez model językowy, zadając pytania o działania ludzi i ich implikacje społeczne.

0 strzałów

Boolq

Test porównawczy BoolQ sprawdza zdolność modelu językowego do odpowiadania na pytania naturalnie występujące (generowane w ustawieniach bez podpowiedzi i nieograniczonych) pytań tak/nie, testując zdolność modeli do wykonywania zadań związanych z wynajmowaniem w świecie naturalnym.

punktacja częściowa

Winogrande

Test Winogrande sprawdza zdolność modelu językowego do rozwiązywania niejednoznacznych zadań uzupełniania pustych pól za pomocą opcji binarnych, które wymagają uogólnionego rozumowania zdroworozsądkowego.

7 zdjęć

Kontrola jakości

Test porównawczy CQA służy do oceny skuteczności modeli językowych w odpowiedziach na pytania jednokrotnego wyboru, które wymagają różnego rodzaju rzetelnej wiedzy.

OBQA

Test OBQA ocenia zdolność modelu językowego do udzielania zaawansowanych odpowiedzi na pytania z wykorzystaniem wieloetapowego rozumowania, zdrowej wiedzy i rozumienia tekstu sformatowanego, modelowana na podstawie otwartych egzaminów książkowych.

ARC-E

Test porównawczy ARC-e sprawdza zaawansowane umiejętności odpowiadania na pytania pochodzące z modelu językowego na poziomie szkoły podstawowej, w tym pytania jednokrotnego wyboru.

ARC-C

Test porównawczy ARC-c to bardziej zawężony podzbiór zbioru danych ARC-e zawierający tylko pytania, na które odpowiedziano nieprawidłowo za pomocą typowych algorytmów (w ramach pobierania bazy danych i wspólnego występowania słów).

5-strzałowe

TriviaQA

Test porównawczy TriviaQA sprawdza umiejętność czytania i rozumienia z potrójną częstotliwością pytania i odpowiedzi.

przekierowywanie@1

HumanEval

Test HumanEval testuje umiejętności generowania kodu modelu językowego i ocenia, czy jego rozwiązania przeszły testy jednostkowe dotyczące funkcjonalnych problemów programistycznych.

3 strzały

MBPP

Test porównawczy MBPP testuje zdolność modelu językowego do rozwiązywania podstawowych problemów z programowaniem w języku Python, koncentrując się na podstawowych koncepcjach programowania i standardowym wykorzystaniu bibliotek.

maj@1

GSM8K

Test porównawczy GSM8K sprawdza zdolność modelu językowego do rozwiązywania problemów matematycznych na poziomie szkoły, które często wymagają wieloetapowego rozumowania.

4 strzały

MATH

Test matematyczny ocenia zdolności modelu językowego do rozwiązywania złożonych problemów tekstowych matematycznych, które wymagają rozumowania, wieloetapowego rozwiązywania problemów i rozumienia pojęć matematycznych.

AGIEval

Test porównawczy AGIEval testuje ogólną inteligencję modelu językowego za pomocą pytań pochodzących z rzeczywistych egzaminów, które oceniają zdolności intelektualne człowieka (egzaminy wstępne na studia, egzaminy prawne itp.).

BBH

Analiza porównawcza BBH (BIG-Bench Hard) koncentruje się na zadaniach wykraczających poza możliwości obecnych modeli językowych, testując ich granice w różnych dziedzinach rozumowania i rozumienia.