Modele Gemma możesz uruchamiać w całości na urządzeniu za pomocą interfejsu MediaPipe LLM Inference API. Interfejs LLM Inference API działa jako otoka dużych modeli językowych, umożliwiając uruchamianie na urządzeniu modeli Gemma w przypadku typowych zadań generowania tekstu na tekst, takich jak pobieranie informacji, tworzenie wersji roboczych e-maili i podsumowywanie dokumentów.
Wypróbuj interfejs LLM Inference API z MediaPipe Studio – aplikacją internetową do oceny i dostosowywania modeli na urządzeniu.
Interfejs LLM Inference API jest dostępny na tych platformach:
Więcej informacji znajdziesz w dokumentacji MediaPipe LLM Inference.