Introdução ao Gemini Nano no Android (no dispositivo)

O Gemini Nano, a menor versão da família de modelos Gemini, pode ser executado no dispositivo em dispositivos Android compatíveis a partir do Pixel 8 Pro.

Para executar o modelo Gemini Nano no Android, você precisa usar o SDK do Google AI Edge para Android, que fornece APIs para:

  • Determine se o dispositivo Android subjacente é compatível.
  • Conseguir acesso ao modelo Gemini Nano.
  • Ajustar as configurações de segurança.
  • Execute inferências em alto desempenho e implemente substitutos.
  • Se quiser, forneça um bloco de ajuste fino da LoRA para melhorar o desempenho do modelo para seu caso de uso.

As APIs para acessar o Gemini Nano são compatíveis com a modalidade de texto para texto, com mais modalidades sendo lançadas no futuro.

Benefícios da execução no dispositivo

A execução no dispositivo permite o seguinte:

  • Processamento local de dados sensíveis: o processamento local de dados ajuda a evitar o envio de dados do usuário para a nuvem. Isso é importante para apps que lidam com dados confidenciais, como apps de mensagens com criptografia de ponta a ponta.
  • Acesso off-line: os usuários podem acessar recursos de IA mesmo quando não há conexão com a Internet. Isso é útil para aplicativos que precisam trabalhar off-line ou com conectividade variável.
  • Economia de custos: é possível reduzir os custos de inferência descarregando a execução para o hardware do consumidor. Isso pode produzir uma economia significativa para fluxos de usuários usados com frequência.

A execução do Gemini no dispositivo tem muitos benefícios. No entanto, para casos de uso que exigem modelos maiores e para oferecer suporte a uma ampla variedade de dispositivos, você pode usar a API Gemini para acessar o Gemini no servidor. É possível fazer isso pela integração de back-end (com Python, Go, Node.js ou REST) ou diretamente do seu app Android por meio do novo SDK de cliente de IA do Google para Android.

Como funciona

A execução no dispositivo do Gemini Nano usa a tecnologia do Android AICore, um novo recurso do sistema que fornece acesso a modelos de fundação para execução no dispositivo, apresentado no Android 14. Os modelos de fundação são pré-instalados usando o AICore. Portanto, não é necessário fazer o download deles nem distribuí-los no seu app. É possível ajustar esses modelos para tarefas downstream usando a LoRa. O Android AICore agora está disponível em produção em dispositivos Pixel 8 Pro e já está potencializando recursos inovadores nos apps do Google.

Para mais informações, consulte Android AICore.

Arquitetura do AICore
Figura 1. Arquitetura do AICore

A seguir