RecurrentGemma

RecurrentGemma to otwarty model oparty na Griffin – architektura modelu hybrydowego, łączy zamknięte powtarzanie liniowe z lokalną uwagą dotyczącą przesuwnych okien.

Podobnie jak Gemma, RecurrentGemma to świetny wybór różnego rodzaju zadania związane z generowaniem tekstu, w tym odpowiadanie na pytania, streszczanie, wyciągania wniosków. Unikalna architektura RecurrentGemma zapewnia jednak następujące dodatkowe zalety:

  • Zmniejszone wykorzystanie pamięci

    Mniejsze wymagania dotyczące pamięci umożliwiają generowanie dłuższych próbek na urządzeniach z ograniczoną ilością pamięci, takich jak pojedyncze procesory graficzne lub procesory.

  • Większa przepustowość

    RecurrentGemma może wnioskować przy znacznie większych wsadach, co oznacza, że może generować znacznie więcej tokenów na sekundę – zwłaszcza podczas generowania długich sekwencji.

  • Wysoka wydajność

    RecurrentGemma dopasowuje wydajność Gemmy, wymagając przy tym mniej pamięci i uzyskując szybsze wnioskowanie.

Więcej zasobów

Karta modelu RecurrentGemma zawiera szczegółowe informacje o modelu, implementacji, ocenie, użyciu modelu i jego ograniczeniach, a także inne informacje.
Zobacz więcej kodu, notatniki Colab, informacje i dyskusje na temat RecurrentGemma w Kaggle.
Uruchom przykładowe notatniki Colab dla JAX i PyTorch z GitHuba.