Uruchamianie LLM na urządzeniu za pomocą LiteRT-LM
Gotowa do zastosowań produkcyjnych platforma wnioskowania typu open source, która zapewnia wydajne, wieloplatformowe wdrożenia LLM-ów na urządzeniach brzegowych.
Dlaczego LiteRT-LM?
Na wielu platformach
wdrażać duże modele językowe na urządzeniach z Androidem, iOS, w internecie i na komputerach;
Akceleracja sprzętowa
Maksymalizacja wydajności dzięki akceleracji GPU i NPU.
Szerokie możliwości generatywnej AI
Obsługa popularnych dużych modeli językowych, a także multimodalności (wizja, dźwięk) i korzystania z narzędzi.
Obsługiwane modele
Uruchamiaj najnowsze modele otwarte zoptymalizowane pod kątem urządzeń brzegowych, w tym Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 i inne.
Zacznij tworzyć
Android
Natywne aplikacje na Androida i narzędzia na komputery oparte na JVM.
iOS
Natywna integracja z iOS i macOS ze specjalistyczną obsługą Metal (interfejsy API Swift będą dostępne wkrótce).
Web
Działa bezpośrednio w przeglądarce dzięki WebAssembly i WebGPU (interfejsy API JavaScript będą dostępne wkrótce).
Dołącz do społeczności
GitHub
Współtwórz kod źródłowy, zgłaszaj problemy i zapoznaj się z przykładami.
Hugging Face
Pobierz wstępnie przekonwertowane modele i dołącz do dyskusji.