RecurrentGemma
RecurrentGemma è un modello aperto basato su Griffin, un'architettura di modello ibrida che mescola ricorrenze lineari ad accesso limitato con l'attenzione locale tramite finestre scorrevoli.
Come Gemma, RecurrentGemma è adatta a una varietà di attività di generazione di testo, tra cui risposta alle domande, riassunto e ragionamento. Tuttavia, l'architettura unica di RecurrentGemma offre i seguenti vantaggi aggiuntivi:
-
Riduzione della memoria utilizzata
Requisiti di memoria inferiori consentono la generazione di campioni più lunghi su dispositivi con memoria limitata, come GPU singole o CPU. -
Velocità effettiva superiore
RecurrentGemma può eseguire l'inferenza a dimensioni significativamente più elevate in batch, il che significa che può generare molti più token al secondo, soprattutto durante la generazione di sequenze lunghe. -
Prestazioni elevate
RecurrentGemma si adatta alle prestazioni di Gemma, richiedendo meno memoria e ottenendo un'inferenza più rapida.