RecurrentGemma

RecurrentGemma ist ein offenes Modell, das auf Griffin basiert, einer Hybridmodellarchitektur, die gatedierte lineare Wiederholungen mit lokaler gleitender Fenster-Aufmerksamkeit kombiniert.

Wie Gemma eignet sich RecurrentGemma gut für eine Vielzahl von Aufgaben der Textgenerierung, einschließlich Fragenbeantwortung, Zusammenfassung und Schlussfolgerung. Die einzigartige Architektur von RecurrentGemma bietet jedoch die folgenden zusätzlichen Vorteile:

  • Geringere Arbeitsspeichernutzung

    Niedrigere Speicheranforderungen ermöglichen das Generieren längerer Stichproben auf Geräten mit begrenztem Arbeitsspeicher, z. B. einzelnen GPUs oder CPUs.

  • Höherer Durchsatz

    RecurrentGemma kann Inferenzen bei deutlich höheren Batchgrößen ausführen, was bedeutet, dass es deutlich mehr Tokens pro Sekunde generieren kann, insbesondere bei langen Sequenzen.

  • Hohe Leistung

    RecurrentGemma gleicht Gemmas Leistung ab, benötigt dafür weniger Arbeitsspeicher und erzielt schnellere Inferenzen.

Weitere Ressourcen

Die Modellkarte von RecurrentGemma enthält unter anderem detaillierte Informationen zum Modell, Implementierungsinformationen, Bewertungsinformationen, Modellnutzung und -einschränkungen.
Hier finden Sie weiteren Code, Colab-Notebooks, Informationen und Diskussionen über RecurrentGemma auf Kaggle.
Colab-Beispiel-Notebooks für JAX und PyTorch auf GitHub ausführen