RecurrentGemma
RecurrentGemma es un modelo abierto basado en Griffin, una arquitectura de modelo híbrido que combina recurrencias lineales cerradas con atención de ventana deslizante local.
Al igual que Gemma, RecurrentGemma es ideal para una variedad de tareas de generación de texto, como responder preguntas, resumir y razonar. Sin embargo, la arquitectura única de RecurrentGemma ofrece las siguientes ventajas adicionales:
-
Uso reducido de la memoria
Los requisitos de memoria más bajos permiten la generación de muestras más largas en dispositivos con memoria limitada, como GPU únicas o CPU. -
Mayor capacidad de procesamiento
RecurrentGemma puede realizar inferencias en tamaños de lote significativamente más altos, lo que significa que puede generar muchos más tokens por segundo, en especial cuando se generan secuencias largas. -
Alto rendimiento
RecurrentGemma coincide con su rendimiento mientras requiere menos memoria y logra una inferencia más rápida.