Gemini Nano, самая маленькая версия семейства моделей Gemini, может быть запущена на устройствах с поддержкой Android, начиная с Google Pixel 8 Pro и Samsung S24 Series.
Чтобы реализовать модель Gemini Nano на Android, вам необходимо использовать Google AI Edge SDK для Android, который предоставляет API для:
- Определите, поддерживается ли базовое устройство под управлением Android.
- Получите доступ к модели Gemini Nano.
- Настройте параметры безопасности.
- Выполняйте логический вывод с высокой производительностью и реализуйте резервные варианты.
- При необходимости предоставьте блок тонкой настройки LoRA, чтобы улучшить производительность модели для вашего варианта использования.
API-интерфейсы для доступа к Gemini Nano поддерживают модальность преобразования текста в текст, и в будущем появится больше модальностей.
Преимущества выполнения на устройстве
Выполнение на устройстве позволяет следующее:
- Локальная обработка конфиденциальных данных . Локальная обработка данных может помочь вам избежать отправки пользовательских данных в облако. Это важно для приложений, которые обрабатывают конфиденциальные данные, например приложений для обмена сообщениями со сквозным шифрованием.
- Автономный доступ : пользователи могут получить доступ к функциям AI даже при отсутствии подключения к Интернету. Это полезно для приложений, которым необходимо работать в автономном режиме или с переменным подключением.
- Экономия затрат . Вы можете снизить затраты на вывод, переложив выполнение на потребительское оборудование. Это может дать значительную экономию для часто используемых пользовательских потоков.
Выполнение Gemini на устройстве имеет множество преимуществ; однако в случаях использования, требующих более крупных моделей Gemini, а также для поддержки широкого спектра устройств, вы можете рассмотреть возможность использования Gemini API для доступа к Gemini на сервере. Вы можете сделать это либо посредством интеграции с серверной частью (с помощью Python , Go , Node.js или REST ), либо непосредственно из приложения Android с помощью нового клиентского SDK Google AI для Android .
Как это работает
Выполнение Gemini Nano на устройстве осуществляется с помощью Android AICore — новой возможности системного уровня, обеспечивающей доступ к базовым моделям для выполнения на устройстве, представленной в Android 14. Базовые модели предварительно устанавливаются с помощью AICore, поэтому вам не нужно необходимо загрузить или распространить их в вашем приложении. Вы можете точно настроить эти модели для последующих задач с помощью LoRa. Android AICore теперь доступен в производстве на устройствах серий Google Pixel 8 Pro и Samsung S24 и уже поддерживает инновационные функции в приложениях Google.
Дополнительные сведения см. в разделе Android AICore .
Что дальше
- Чтобы узнать, как воспользоваться преимуществами вывода Gemini Pro на серверах Google в вашем приложении Android, прочтите краткое руководство по клиентскому SDK Google AI для Android .