에지 기기에서 고성능 크로스 플랫폼 LLM 배포를 제공하도록 설계된 프로덕션 지원 오픈소스 추론 프레임워크입니다.

중요한 소식

Gemma 4로 최첨단 에이전트 기술을 에지에 적용하세요.

LiteRT-LM을 사용해야 하는 이유

Android, iOS, 웹, 데스크톱에 LLM을 배포합니다.
GPU 및 NPU 가속으로 성능을 극대화하세요.
인기 있는 LLM과 멀티모달리티 (비전, 오디오), 도구 사용 지원

빌드 시작

Linux, MacOS, Windows, Raspberry Pi에서 하드웨어 가속을 사용하는 Python API
네이티브 Android 앱 및 JVM 기반 데스크톱 도구
특화된 Metal 지원을 통한 기본 iOS 및 macOS 통합 (Swift API 곧 출시 예정)
크로스 플랫폼 C++ API

커뮤니티 참여

오픈소스 프로젝트에 참여하고, 문제를 신고하고, 예시를 확인하세요.
사전 변환된 모델 (Gemma, Qwen 등)을 다운로드하고 토론에 참여하세요.

블로그 및 공지사항

LiteRT-LM을 사용하여 뛰어난 성능과 도달범위를 갖춘 Gemma 4를 인앱 및 다양한 기기에 배포하세요.
LiteRT-LM을 사용하여 웨어러블 및 브라우저 기반 플랫폼에 언어 모델을 대규모로 배포합니다.
FunctionGemma를 미세 조정하고 LiteRT-LM 도구 사용 API로 구동되는 함수 호출 기능을 사용 설정하는 방법을 알아봅니다.
에지 언어 모델의 RAG, 멀티모달, 함수 호출에 관한 최신 통계