RecurrentGemma

RecurrentGemma to otwarty model oparty na Griffin – hybrydowym modelu, który łączy ograniczone powtarzanie liniowe z lokalnym zwracaniem uwagi na okno przesuwne.

Podobnie jak Gemma, aplikacja RecurrentGemma dobrze sprawdza się w przypadku różnych zadań generowania tekstu, takich jak odpowiadanie na pytania, streszczanie i rozumowanie. Unikalna architektura RecurrentGemma ma jednak te dodatkowe zalety:

  • Zmniejszone wykorzystanie pamięci

    Mniejsze wymagania dotyczące pamięci umożliwiają generowanie dłuższych próbek na urządzeniach z ograniczoną ilością pamięci, takich jak pojedyncze procesory graficzne lub procesory.

  • Większa przepustowość

    RecurrentGemma może wnioskować przy znacznie większych wsadach, co oznacza, że może generować znacznie więcej tokenów na sekundę – zwłaszcza podczas generowania długich sekwencji.

  • Wysoka wydajność

    RecurrentGemma dopasowuje wydajność Gemmy, wymagając przy tym mniej pamięci i uzyskując szybsze wnioskowanie.

Więcej zasobów

Karta modelu RecurrentGemma zawiera szczegółowe informacje o modelu, implementacji, ocenie, użyciu modelu i jego ograniczeniach, a także inne informacje.
Zobacz więcej kodu, notatniki Colab, informacje i dyskusje na temat RecurrentGemma w Kaggle.
Uruchom przykładowe notatniki Colab dla JAX i PyTorch z GitHuba.