W tym dokumencie opisujemy różne metody i narzędzia do wdrażania i uruchamiania modeli Gemma na urządzeniach mobilnych, w tym korzystanie z aplikacji Google AI Edge Gallery i interfejsu MediaPipe LLM Inference API.
Informacje o konwertowaniu dostrojonego modelu Gemma na wersję LiteRT znajdziesz w przewodniku po konwersji.
Aplikacja Galeria Google AI Edge
Aby zobaczyć interfejsy LLM Inference API w działaniu i przetestować model pakietu zadań, możesz użyć aplikacji Google AI Edge Gallery. Ta aplikacja udostępnia interfejs użytkownika do interakcji z modelami LLM na urządzeniu, który umożliwia:
- Importowanie modeli: wczytaj do aplikacji niestandardowe modele
.task. - Skonfiguruj parametry: dostosuj ustawienia takie jak temperatura i top-k.
- Generowanie tekstu: wpisuj prompty i wyświetlaj odpowiedzi modelu.
- Testowanie wydajności: ocena szybkości i dokładności modelu.
Szczegółowy przewodnik po korzystaniu z aplikacji Google AI Edge Gallery, w tym instrukcje importowania własnych modeli, znajdziesz w dokumentacji aplikacji.
MediaPipe LLM
Modele Gemma możesz uruchamiać na urządzeniach mobilnych za pomocą interfejsu MediaPipe LLM Inference API. Interfejs LLM Inference API działa jako otoczka dla dużych modeli językowych, umożliwiając uruchamianie modeli Gemma na urządzeniu w przypadku typowych zadań związanych z generowaniem tekstu na podstawie tekstu, takich jak wyszukiwanie informacji, tworzenie e-maili i podsumowywanie dokumentów.
Interfejs LLM Inference API jest dostępny na tych platformach mobilnych:
Więcej informacji znajdziesz w dokumentacji wnioskowania LLM w MediaPipe.