LiteRT-LM으로 기기 내에서 LLM 실행
에지 기기에서 고성능 크로스 플랫폼 LLM 배포를 제공하도록 설계된 프로덕션 레디 오픈소스 추론 프레임워크
LiteRT-LM을 사용해야 하는 이유
교차 플랫폼
Android, iOS, 웹, 데스크톱에 LLM을 배포합니다.
하드웨어 가속
GPU 및 NPU 가속으로 성능을 극대화하세요.
광범위한 생성형 AI 기능
인기 있는 LLM과 멀티모달리티 (비전, 오디오), 도구 사용 지원
지원되는 모델
Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 등 에지용으로 최적화된 최신 오픈 모델을 실행합니다.
커뮤니티 참여
GitHub
소스 코드에 기여하고, 문제를 보고하고, 예를 확인하세요.
Hugging Face
사전 변환된 모델을 다운로드하고 토론에 참여하세요.