Gotowa do wykorzystania w środowisku produkcyjnym platforma wnioskowania typu open source zaprojektowana z myślą o wdrażaniu na urządzeniach brzegowych dużych modeli językowych (LLM) o wysokiej wydajności i działających na wielu platformach.
Przegląd Rozpocznij
Generatywna AI na urządzeniu w Chrome, Chromebooku Plus i Pixel Watch z LiteRT-LM.
Więcej informacji

Dlaczego LiteRT-LM?

wdrażać duże modele językowe na urządzeniach z Androidem, iOS, w internecie i na komputerach;
Maksymalizacja wydajności dzięki akceleracji GPU i NPU.
Obsługa popularnych dużych modeli językowych, a także multimodalności (wizja, dźwięk) i korzystania z narzędzi.

Zacznij tworzyć

Interfejsy API Pythona z akceleracją sprzętową w systemach Linux, macOS, Windows i Raspberry Pi.
Przewodnik Pythona
Natywne aplikacje na Androida i narzędzia na komputery oparte na JVM.
Przewodnik po Androidzie
Natywna integracja z iOS i macOS ze specjalistyczną obsługą Metal (interfejsy API Swift będą dostępne wkrótce).
Przewodnik po C++
Interfejsy API C++ na różne platformy .
Przewodnik po C++

Blogi i ogłoszenia

Wdrażaj modele językowe na urządzeniach do noszenia i platformach przeglądarkowych na dużą skalę za pomocą LiteRT-LM.
Dowiedz się, jak dostroić model FunctionGemma i włączyć funkcje wywoływania funkcji oparte na interfejsach LiteRT-LM Tool Use API.
Najnowsze informacje o RAG, multimodalności i wywoływaniu funkcji w przypadku modeli językowych na urządzeniach brzegowych.

Dołącz do społeczności

Współpracuj przy projekcie open source, zgłaszaj problemy i zapoznaj się z przykładami.
Wyświetl w GitHubie
Pobierz wstępnie przekonwertowane modele i dołącz do dyskusji.
Wyświetl w Hugging Face