RecurrentGemma

RecurrentGemma는 Griffin은 Google Cloud의 게이트 선형 반복과 로컬 슬라이딩 기간 어텐션을 혼합해 사용합니다.

Gemma와 마찬가지로 RecurrentGemma는 질의 응답, 요약, 있습니다. 그러나 RecurrentGemma의 고유한 아키텍처는 장점:

  • 메모리 사용량 감소

    메모리 요구사항이 낮을수록 단일 GPU나 CPU와 같이 메모리가 제한된 기기에서 더 긴 샘플을 생성할 수 있습니다.

  • 많은 처리량

    RecurrentGemma는 훨씬 더 큰 배치 크기로 추론을 수행할 수 있습니다. 즉, 특히 긴 시퀀스를 생성할 때 초당 훨씬 더 많은 토큰을 생성할 수 있습니다.

  • 고성능

    RecurrentGemma는 Gemma의 성능과 일치하면서도 더 적은 메모리를 사용하고 추론 속도를 높입니다.

추가 리소스

RecurrentGemma의 모델 카드에는 모델, 구현 정보, 평가 정보, 모델 사용 및 제한사항 등에 관한 자세한 정보가 포함되어 있습니다.
Kaggle에서 RecurrentGemma에 관한 더 많은 코드, Colab 노트북, 정보, 토론을 확인하세요.
GitHub에서 JAX 및 PyTorch용 Colab 노트북 예시를 실행합니다.