O Gemini Nano, a versão menor da família de modelos Gemini, pode ser executado em dispositivos Android compatíveis, começando com o Google Pixel 8 Pro e a série Samsung S24.
Para executar o modelo Gemini Nano no Android, use o SDK AI Edge do Google para Android, que oferece APIs para:
- Determine se o dispositivo Android em questão é compatível.
- Acesse o modelo Gemini Nano.
- Ajuste as configurações de segurança.
- Execute a inferência com alto desempenho e implemente substitutos.
- Opcionalmente, forneça um bloco de ajuste fino da LoRa para melhorar o desempenho do modelo para seu caso de uso.
As APIs para acessar o Gemini Nano oferecem suporte à modalidade de texto para texto, e mais modalidades serão lançadas no futuro.
Benefícios da execução no dispositivo
A execução no dispositivo permite o seguinte:
- Processamento local de dados sensíveis: processar dados localmente pode ajudar a evitar o envio de dados do usuário para a nuvem. Isso é importante para apps que lidam com dados sensíveis, como apps de mensagens com criptografia de ponta a ponta.
- Acesso off-line: os usuários podem acessar os recursos de IA mesmo quando não há conexão à Internet. Isso é útil para aplicativos que precisam funcionar off-line ou com conectividade variável.
- Economia de custos: é possível reduzir os custos de inferência transferindo a execução para hardwares de consumo. Isso pode gerar economias significativas para fluxos de usuários usados com frequência.
A execução no dispositivo do Gemini tem muitos benefícios. No entanto, para casos de uso que exigem modelos maiores do Gemini e para oferecer suporte a uma ampla variedade de dispositivos, considere usar a API Gemini para acessar o Gemini no servidor. Isso pode ser feito por meio da integração de back-end (com Python, Go, Node.js ou REST) ou diretamente do app Android pelo novo SDK do cliente de IA do Google para Android.
Como funciona
A execução no dispositivo do Gemini Nano é feita pelo Android AICore, um novo recurso do sistema que oferece acesso a modelos de fundação para execução no dispositivo, introduzido no Android 14. Os modelos de base são pré-instalados usando o AICore, então você não precisa fazer o download nem distribuir esses modelos no seu app. Você pode ajustar esses modelos para tarefas posteriores usando o LoRa. O Android AICore já está disponível para produção nos dispositivos Google Pixel 8 Pro e Samsung S24 Series e já está oferecendo recursos inovadores nos apps do Google.
Para mais informações, consulte Android AICore.
A seguir
- Para saber como aproveitar a inferência do Gemini Pro nos servidores do Google no seu app Android, leia o Guia de início rápido do SDK do cliente da IA do Google para Android.