Modelos abertos da Gemma

0 tiro

HellaSwag

O comparativo de mercado HellaSwag desafia a capacidade de um modelo de linguagem de entender e aplicar o raciocínio pelo bom senso selecionando o final mais lógico para uma história.

0 tiro

PIQA

O comparativo de mercado PIQA testa a capacidade de um modelo de linguagem de entender e aplicar o conhecimento físico de senso comum respondendo a perguntas sobre interações físicas diárias.

0 tiro

SIQA

O comparativo de mercado do SIQA avalia a compreensão de um modelo de linguagem das interações sociais e do senso comum social, fazendo perguntas sobre as ações das pessoas e suas implicações sociais.

0 tiro

Boolq

O comparativo de mercado do BoolQ testa a capacidade de um modelo de linguagem de responder a perguntas de sim/não que ocorrem naturalmente (geradas em configurações não solicitadas e não restritas), testando a capacidade do modelo de realizar tarefas de inferência de linguagem natural do mundo real.

pontuação parcial

Winogrande

O comparativo de Winogrande testa a capacidade de um modelo de linguagem de resolver tarefas de preenchimento ambíguo com opções binárias, exigindo um raciocínio generalizado com bom senso.

7 tiros

CQA

O comparativo de mercado do CQA avalia o desempenho de modelos de linguagem nas perguntas de múltipla escolha, exigindo diferentes tipos de conhecimento de bom senso.

OBQA

O comparativo de mercado da OBQA avalia a capacidade de um modelo de linguagem de responder a perguntas avançadas com raciocínio em várias etapas, conhecimento de senso comum e compreensão de rich text, modelados após exames de livros abertos.

ARC-E

O comparativo de mercado ARC-e testa as habilidades avançadas para responder a perguntas de um modelo de linguagem com questões de múltipla escolha genuínas de ensino fundamental e médio.

ARC-C

O comparativo de mercado do ARC-c é um subconjunto mais focado do conjunto de dados do ARC-e, contendo apenas perguntas respondidas incorretamente por algoritmos comuns (base de recuperação e coocorrência de palavras).

5 tiros

TriviaQA

O comparativo de mercado do TriviaQA testa as habilidades de compreensão de leitura com três evidências de perguntas e respostas.

passe@1

HumanEval

O comparativo de mercado da HumanEval testa as habilidades de geração de código de um modelo de linguagem avaliando se as soluções passam em testes de unidade funcionais para problemas de programação.

3 tiros

MBPP

O comparativo de mercado do MBPP testa a capacidade de um modelo de linguagem de resolver problemas básicos de programação em Python, com foco em conceitos fundamentais de programação e no uso da biblioteca padrão.

maj@1

GSM8K

O comparativo de mercado do GSM8K testa a capacidade de um modelo de linguagem de resolver problemas de matemática no nível escolar que frequentemente exigem várias etapas de raciocínio.

4 tiros

MATH

O parâmetro MATH avalia a capacidade de um modelo de linguagem de resolver problemas matemáticos complexos matemáticos, exigindo raciocínio, resolução de problemas com várias etapas e compreensão de conceitos matemáticos.

AGIEval

O comparativo de mercado do AGIEval testa a inteligência geral de um modelo de linguagem usando perguntas derivadas de exames do mundo real, projetados para avaliar as habilidades intelectuais humanas (exames de admissão a faculdades, exames de direito etc.).

BH

O comparativo de mercado de BBH (Big-Bench Hard) concentra-se em tarefas consideradas além das capacidades dos modelos de linguagem atuais, testando seus limites em vários domínios de raciocínio e compreensão.