Разверните Gemma на мобильных устройствах

В этом документе описываются различные методы и инструменты для развертывания и запуска моделей Gemma на мобильных устройствах, включая использование приложения Google AI Edge Gallery и API вывода LLM MediaPipe.

Информацию о преобразовании настроенной модели Gemma в версию LiteRT см. в Руководстве по преобразованию .

Чтобы увидеть API вывода LLM в действии и протестировать модель Task Bundle, вы можете использовать приложение Google AI Edge Gallery . Это приложение предоставляет пользовательский интерфейс для взаимодействия с LLM на устройстве, позволяя:

  • Импорт моделей: загрузите пользовательские модели .task в приложение.
  • Настройте параметры: отрегулируйте такие параметры, как температура и top-k.
  • Генерация текста: ввод подсказок и просмотр ответов модели.
  • Тестирование производительности: оценка скорости и точности модели.

Подробное руководство по использованию приложения Google AI Edge Gallery, включая инструкции по импорту собственных моделей, см. в документации к приложению.

MediaPipe LLM

Вы можете запускать модели Gemma на мобильных устройствах с помощью API вывода LLM MediaPipe . API вывода LLM выступает в качестве оболочки для больших языковых моделей, позволяя запускать модели Gemma на устройствах для выполнения распространённых задач по генерации текста, таких как поиск информации, составление электронных писем и реферирование документов.

API вывода LLM доступен на следующих мобильных платформах:

Более подробную информацию можно найти в документации MediaPipe LLM Inference .