RecurrentGemma
RecurrentGemma ist ein offenes Modell, das auf Griffin basiert, einer Hybridmodellarchitektur, die gatedierte lineare Wiederholungen mit lokaler gleitender Fenster-Aufmerksamkeit kombiniert.
Wie Gemma eignet sich RecurrentGemma gut für eine Vielzahl von Aufgaben der Textgenerierung, einschließlich Fragenbeantwortung, Zusammenfassung und Schlussfolgerung. Die einzigartige Architektur von RecurrentGemma bietet jedoch die folgenden zusätzlichen Vorteile:
-
Geringere Arbeitsspeichernutzung
Niedrigere Speicheranforderungen ermöglichen das Generieren längerer Stichproben auf Geräten mit begrenztem Arbeitsspeicher, z. B. einzelnen GPUs oder CPUs. -
Höherer Durchsatz
RecurrentGemma kann Inferenzen bei deutlich höheren Batchgrößen ausführen, was bedeutet, dass es deutlich mehr Tokens pro Sekunde generieren kann, insbesondere bei langen Sequenzen. -
Hohe Leistung
RecurrentGemma gleicht Gemmas Leistung ab, benötigt dafür weniger Arbeitsspeicher und erzielt schnellere Inferenzen.