Modelos abiertos de Gemma
Una familia de modelos abiertos ligeros y de última generación creados a partir de la misma investigación y tecnología que se usaron para crear los modelos de Gemini
Presentamos
Gemma 2
Rediseñado para ofrecer un rendimiento extraordinario y una eficiencia inigualable, Gemma 2 se optimiza para lograr una inferencia increíblemente rápida en diversos hardware.
5 tomas
MMLU
Las comparativas de MMLU son una prueba que mide la amplitud del conocimiento y la capacidad de resolución de problemas que adquieren los modelos grandes de lenguaje durante el entrenamiento previo.
25 capturas
ARC-C
La comparativa de ARC-c es un subconjunto más enfocado del conjunto de datos de ARC-e, que contiene solo preguntas respondidas incorrectamente por algoritmos comunes (base de recuperación y coexistencia de palabras).
5 tomas
GSM8K
La comparativa de GSM8K prueba la capacidad de un modelo de lenguaje para resolver problemas matemáticos de nivel primario que suelen requerir varios pasos de razonamiento.
De 3 a 5 tomas
AGIEval
La comparativa de AGIEval pone a prueba la inteligencia general de un modelo de lenguaje mediante preguntas derivadas de exámenes del mundo real diseñados para evaluar las capacidades intelectuales humanas.
3 tomas, CoT
BBH
Las comparativas de BBH (BIG-Bench Hard) se enfocan en tareas que se consideran más allá de las capacidades de los modelos de lenguaje actuales y prueban sus límites en varios ámbitos de razonamiento y comprensión.
3 tomas, F1
DROP
DROP es una comparativa de comprensión lectora que requiere un razonamiento discreto en lugar de párrafos.
5 tomas
Winogrande
La comparativa de Winogrande prueba la capacidad de un modelo de lenguaje para resolver tareas ambiguas de completar espacios con opciones binarias, lo que requiere un razonamiento de sentido común generalizado.
10 intentos
HellaSwag
La comparativa de HellaSwag desafía la capacidad de un modelo de lenguaje para comprender y aplicar el razonamiento de sentido común seleccionando el final más lógico para una historia.
4 tomas
MATEMÁTICAS
Las MATH evalúan la capacidad de un modelo de lenguaje para resolver problemas matemáticos complejos de palabras, que requieren razonamiento, resolución de problemas de varios pasos y comprensión de conceptos matemáticos.
Sin ejemplos
ARC‐e
La comparativa ARC-e pone a prueba las habilidades avanzadas de respuesta de preguntas de un modelo de lenguaje con preguntas de ciencia de opción múltiple y genuinas de nivel escolar.
Sin ejemplos
PIQA
La comparativa PIQA prueba la capacidad de un modelo de lenguaje para comprender y aplicar el conocimiento físico del sentido común respondiendo preguntas sobre las interacciones físicas cotidianas.
Sin ejemplos
SIQA
La comparativa SIQA evalúa la comprensión de un modelo de lenguaje de las interacciones sociales y el sentido común social haciendo preguntas sobre las acciones de las personas y sus implicaciones sociales.
Sin ejemplos
Boolq
La comparativa BoolQ prueba la capacidad de un modelo de lenguaje para responder preguntas de tipo sí/no naturales, poniendo a prueba la capacidad del modelo para realizar tareas de inferencia de lenguaje natural del mundo real.
5 tomas
TriviaQA
La comparativa de TriviaQA evalúa las habilidades de comprensión lectora con triples de evidencia de pregunta y respuesta.
5 tomas
NQ
Las comparativas de NQ (preguntas naturales) ponen a prueba la capacidad de un modelo de lenguaje para encontrar y comprender respuestas en artículos completos de Wikipedia, mediante la simulación de escenarios de respuestas a preguntas del mundo real.
pase@1
HumanEval
La comparativa de HumanEval pone a prueba las capacidades de generación de código de un modelo de lenguaje evaluando si sus soluciones pasan las pruebas de unidades funcionales para problemas de programación.
3 tomas
MBPP
Las comparativas de MBPP ponen a prueba la capacidad de un modelo de lenguaje para resolver problemas de programación básicos de Python, con un enfoque en los conceptos fundamentales de la programación y el uso estándar de la biblioteca.
100%
75%
50%
25%
0%
100%
75%
50%
25%
0%
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
LLAMA 3
8,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
Gemma 1
2,500 millones
Gemma 2
2,600 millones
Mistral
7,000 millones
Gemma 1
7,000 millones
Gemma 2
9,000 millones
Gemma 2
27,000 millones
*Estas son las comparativas para los modelos previamente entrenados. Consulta el informe técnico para obtener detalles sobre el rendimiento con otras metodologías.
Familia de modelos Gemma
Explora nuestras herramientas
Guías de inicio rápido para desarrolladores
Guías de inicio rápido para socios
Libro de recetas de Gemma
Explora una colección de recetas prácticas y ejemplos que muestran la potencia y la versatilidad de Gemma para tareas como generar leyendas de imágenes con PaliGemma, generar código con CodeGemma y crear chatbots con modelos de Gemma ajustados.
Desarrollo de IA responsable
Responsabilidad desde el diseño
Previamente entrenados con datos cuidadosamente seleccionados y ajustados para la seguridad además, lo que ayuda a potenciar el desarrollo seguro y responsable de la IA basado en modelos de Gemma.
Evaluación sólida y transparente
Las evaluaciones integrales y los informes transparentes revelan las limitaciones del modelo para adoptar un enfoque responsable en cada caso de uso.
Impulsamos el desarrollo responsable
El kit de herramientas de IA generativa responsable ayuda a los desarrolladores a diseñar e implementar las prácticas recomendadas de la IA responsable.
Optimizado para Google Cloud
Con los modelos de Gemma en Google Cloud, puedes personalizar en profundidad el modelo según tus necesidades específicas con las herramientas completamente administradas de Vertex AI o la opción autoadministrada de GKE y, luego, implementarlo en una infraestructura flexible, rentable y optimizada para la IA.
Acelera la investigación académica con los créditos de Google Cloud
Recientemente, el Programa de Investigación Académica concluyó su período de postulación y otorgó créditos de Google Cloud para apoyar a los investigadores que amplían los límites del descubrimiento científico usando modelos Gemma. Nos entusiasma ver la investigación revolucionaria que surge de esta iniciativa.
Únete a la comunidad
Conéctate, explora y comparte tus conocimientos con otros miembros de la comunidad de modelos de AA.