에지 기기에서 고성능 크로스 플랫폼 LLM 배포를 제공하도록 설계된 프로덕션 지원 오픈소스 추론 프레임워크입니다.
개요 시작하기

중요한 소식

다중 토큰 예측 (MTP)으로 Gemma 4 기기 내 추론을 강화하세요. 품질 저하 없이 모바일 GPU에서 2배 이상 빠른 디코딩 속도를 경험하세요.
블로그 게시물 가이드

LiteRT-LM을 사용해야 하는 이유

Android, iOS, 웹, 데스크톱에 LLM을 배포합니다.
GPU 및 NPU 가속으로 성능을 극대화하세요.
인기 있는 LLM과 멀티모달리티 (비전, 오디오), 도구 사용 지원

빌드 시작

Linux, MacOS, Windows, Raspberry Pi에서 하드웨어 가속을 사용하는 Python API
Python 가이드
네이티브 Android 앱 및 JVM 기반 데스크톱 도구
Android 가이드
네이티브 iOS (macOS 지원 예정) Swift API
Swift 가이드
WebGPU 가속을 사용하는 브라우저 기반 웹 앱을 위한 JavaScript 및 TypeScript API입니다.
웹 가이드
커뮤니티에서 유지관리하는 flutter_gemma 패키지를 사용하여 크로스 플랫폼 Flutter 앱을 빌드합니다.
Flutter 가이드
크로스 플랫폼 C++ API
C++ 가이드
변환된 LiteRT 모델에서 .litertlm 파일을 빌드합니다.
파일 빌더 가이드

커뮤니티 참여

오픈소스 프로젝트에 참여하고, 문제를 신고하고, 예시를 확인하세요.
GitHub에서 보기
사전 변환된 모델 (Gemma, Qwen 등)을 다운로드하고 토론에 참여하세요.
Hugging Face에서 보기

블로그 및 공지사항

LiteRT-LM을 사용하여 뛰어난 성능과 도달범위를 갖춘 Gemma 4를 인앱 및 다양한 기기에 배포하세요.
LiteRT-LM을 사용하여 웨어러블 및 브라우저 기반 플랫폼에 언어 모델을 대규모로 배포합니다.
FunctionGemma를 미세 조정하고 LiteRT-LM 도구 사용 API로 구동되는 함수 호출 기능을 사용 설정하는 방법을 알아봅니다.
에지 언어 모델의 RAG, 멀티모달, 함수 호출에 관한 최신 통계