RecurrentGemma
RecurrentGemma to model otwarty oparty na architekturze modelu hybrydowego Griffin, która łączy zamknięte powtarzanie liniowe z lokalnymi działaniami przesuwnymi.
Podobnie jak Gemma, RecurrentGemma świetnie nadaje się do wykonywania różnych zadań związanych z generowaniem tekstu, w tym odpowiadania na pytania, streszczania tekstu i rozumowania. Unikalna architektura RecurrentGemma ma jednak te dodatkowe zalety:
-
Zmniejszone wykorzystanie pamięci
Mniejsze wymagania dotyczące pamięci umożliwiają generowanie dłuższych próbek na urządzeniach z ograniczoną ilością pamięci, takich jak pojedyncze procesory graficzne lub procesory. -
Większa przepustowość
RecurrentGemma może wnioskować przy znacznie większych wsadach, co oznacza, że może generować znacznie więcej tokenów na sekundę – zwłaszcza podczas generowania długich sekwencji. -
Wysoka wydajność
RecurrentGemma dopasowuje wydajność Gemmy, wymagając przy tym mniej pamięci i uzyskując szybsze wnioskowanie.