Google AI Edge | Google AI for Developers

Google AI Edge Portal 소개: 대규모로 엣지 AI를 벤치마킹합니다. 비공개 미리보기 기간에 액세스 권한을 요청하려면 가입하세요.

에지 기기에서 고성능 크로스 플랫폼 LLM 배포를 제공하도록 설계된 프로덕션 지원 오픈소스 추론 프레임워크입니다.

개요 시작하기

LiteRT-LM을 사용한 Chrome, Chromebook Plus, Pixel Watch의 온디바이스 생성형 AI

LiteRT-LM을 사용해야 하는 이유

Android, iOS, 웹, 데스크톱에 LLM을 배포합니다.

GPU 및 NPU 가속으로 성능을 극대화하세요.

인기 있는 LLM과 멀티모달리티 (비전, 오디오), 도구 사용 지원

Linux, MacOS, Windows, Raspberry Pi에서 하드웨어 가속을 사용하는 Python API

네이티브 Android 앱 및 JVM 기반 데스크톱 도구

특화된 Metal 지원을 통한 기본 iOS 및 macOS 통합 (Swift API 곧 출시 예정)

크로스 플랫폼 C++ API

LiteRT-LM을 사용하여 웨어러블 및 브라우저 기반 플랫폼에 언어 모델을 대규모로 배포합니다.

FunctionGemma를 미세 조정하고 LiteRT-LM 도구 사용 API로 구동되는 함수 호출 기능을 사용 설정하는 방법을 알아봅니다.

에지 언어 모델의 RAG, 멀티모달, 함수 호출에 관한 최신 통계

오픈소스 프로젝트에 참여하고, 문제를 신고하고, 예시를 확인하세요.

사전 변환된 모델을 다운로드하고 토론에 참여하세요.