Вы можете запускать модели Gemma полностью на устройстве с помощью MediaPipe LLM Inference API . API-интерфейс LLM Inference действует как оболочка для больших языковых моделей, позволяя запускать модели Gemma на устройстве для выполнения общих задач преобразования текста в текст, таких как поиск информации, составление электронных писем и обобщение документов.
Попробуйте LLM Inference API с MediaPipe Studio — веб-приложением для оценки и настройки моделей на устройстве.
API LLM Inference доступен на следующих платформах:
Чтобы узнать больше, обратитесь к документации MediaPipe LLM Inference .