MediaPipe LLM Inference API를 사용하여 온디바이스에서 Gemma 모델을 실행할 수 있습니다. LLM Inference API는 대규모 언어 모델의 래퍼 역할을 하며 정보 검색, 이메일 초안 작성, 문서 요약과 같은 일반적인 텍스트 간 생성 작업을 위해 기기 내에서 Gemma 모델을 실행할 수 있습니다.
기기별 모델을 평가하고 맞춤설정하기 위한 웹 기반 애플리케이션인 MediaPipe Studio에서 LLM 추론 API를 사용해 보세요.
LLM Inference API는 다음 플랫폼에서 사용할 수 있습니다.
자세한 내용은 MediaPipe LLM 추론 문서를 참고하세요.