RecurrentGemma

RecurrentGemma는 게이트 선형 반복과 로컬 슬라이딩 윈도우 어텐션을 혼합한 하이브리드 모델 아키텍처인 Griffin을 기반으로 하는 개방형 모델입니다.

RecurrentGemma는 Gemma와 마찬가지로 질의 응답, 요약, 추론을 비롯한 다양한 텍스트 생성 작업에 적합합니다. 그러나 RecurrentGemma의 고유한 아키텍처에는 다음과 같은 추가적인 이점이 있습니다.

  • 메모리 사용량 감소

    메모리 요구사항이 낮을수록 단일 GPU나 CPU와 같이 메모리가 제한된 기기에서 더 긴 샘플을 생성할 수 있습니다.

  • 많은 처리량

    RecurrentGemma는 훨씬 더 큰 배치 크기로 추론을 수행할 수 있습니다. 즉, 특히 긴 시퀀스를 생성할 때 초당 훨씬 더 많은 토큰을 생성할 수 있습니다.

  • 고성능

    RecurrentGemma는 Gemma의 성능과 일치하면서도 더 적은 메모리를 사용하고 추론 속도를 높입니다.

추가 리소스

RecurrentGemma의 모델 카드에는 모델, 구현 정보, 평가 정보, 모델 사용 및 제한사항 등에 관한 자세한 정보가 포함되어 있습니다.
Kaggle에서 RecurrentGemma에 관한 더 많은 코드, Colab 노트북, 정보, 토론을 확인하세요.
GitHub에서 JAX 및 PyTorch용 Colab 노트북 예시를 실행합니다.