RecurrentGemma

RecurrentGemma è un modello aperto basato su Griffin, un modello ibrido che mescola le occorrenze lineari limitate e l'attenzione delle finestre scorrevoli locali.

Come Gemma, RecurrentGemma è adatto per una varietà di attività di generazione di testi, tra cui la risposta alle domande, il riepilogo e il ragionamento. Tuttavia, l'esclusiva architettura di RecurrentGemma offre i seguenti vantaggi aggiuntivi:

  • Riduzione della memoria utilizzata

    Requisiti di memoria inferiori consentono la generazione di campioni più lunghi su dispositivi con memoria limitata, come GPU singole o CPU.

  • Velocità effettiva superiore

    RecurrentGemma può eseguire l'inferenza a dimensioni significativamente più elevate in batch, il che significa che può generare molti più token al secondo, soprattutto durante la generazione di sequenze lunghe.

  • Prestazioni elevate

    RecurrentGemma si adatta alle prestazioni di Gemma, richiedendo meno memoria e ottenendo un'inferenza più rapida.

Altre risorse

La scheda del modello di RecurrentGemma contiene informazioni dettagliate sul modello, sull'implementazione, sulla valutazione, sull'utilizzo e sulle limitazioni del modello e altro ancora.
Visualizza altro codice, blocchi note di Colab, informazioni e discussioni su RecurrentGemma su Kaggle.
Esegui blocchi note di Colab di esempio per JAX e PyTorch su GitHub.