RecurrentGemma

RecurrentGemma è un modello aperto basato su Griffin, un'architettura di modello ibrida che mescola ricorrenze lineari ad accesso limitato con l'attenzione locale tramite finestre scorrevoli.

Come Gemma, RecurrentGemma è adatta a una varietà di attività di generazione di testo, tra cui risposta alle domande, riassunto e ragionamento. Tuttavia, l'architettura unica di RecurrentGemma offre i seguenti vantaggi aggiuntivi:

  • Riduzione della memoria utilizzata

    Requisiti di memoria inferiori consentono la generazione di campioni più lunghi su dispositivi con memoria limitata, come GPU singole o CPU.

  • Velocità effettiva superiore

    RecurrentGemma può eseguire l'inferenza a dimensioni significativamente più elevate in batch, il che significa che può generare molti più token al secondo, soprattutto durante la generazione di sequenze lunghe.

  • Prestazioni elevate

    RecurrentGemma si adatta alle prestazioni di Gemma, richiedendo meno memoria e ottenendo un'inferenza più rapida.

Altre risorse

La scheda del modello di RecurrentGemma contiene informazioni dettagliate sul modello, sull'implementazione, sulla valutazione, sull'utilizzo e sulle limitazioni del modello e altro ancora.
Visualizza altro codice, blocchi note di Colab, informazioni e discussioni su RecurrentGemma su Kaggle.
Esegui blocchi note di Colab di esempio per JAX e PyTorch su GitHub.