O Gemini Nano, a menor versão da família de modelos Gemini, pode ser executado no dispositivo em dispositivos Android compatíveis, começando com o Google Pixel 8 Pro e a série Samsung S24.
Para executar o modelo Gemini Nano no Android, você precisa usar o SDK do Google AI Edge para Android, que fornece APIs para:
- Determine se o dispositivo Android tem suporte.
- Conseguir acesso ao modelo Gemini Nano.
- Ajustar as configurações de segurança.
- Execute inferência em alto desempenho e implemente substitutos.
- Como opção, forneça um bloco de ajuste da LoRA para melhorar o desempenho do modelo para seu caso de uso.
As APIs para acessar o Gemini Nano são compatíveis com a modalidade de texto para texto, com mais modalidades no futuro.
Benefícios da execução no dispositivo
A execução no dispositivo permite o seguinte:
- Processamento local de dados confidenciais: o processamento local de dados pode ajudar a evitar o envio de dados do usuário para a nuvem. Isso é importante para apps que lidam com dados confidenciais, como apps de mensagens com criptografia de ponta a ponta.
- Acesso off-line: os usuários podem acessar recursos de IA mesmo quando não há conexão de Internet. Isso é útil para aplicativos que precisam trabalhar off-line ou com conectividade variável.
- Economia de custos: é possível reduzir os custos de inferência descarregando a execução para o hardware do consumidor. Isso pode produzir uma economia significativa para fluxos de usuários usados com frequência.
A execução do Gemini no dispositivo tem muitos benefícios. No entanto, para casos de uso que exigem modelos maiores do Gemini e oferecem suporte a uma ampla variedade de dispositivos, use a API Gemini para acessar o Gemini no servidor. É possível fazer isso pela integração de back-end (com Python, Go, Node.js ou REST) ou diretamente do seu app Android por meio do novo SDK do cliente de IA do Google para Android.
Como funciona
A execução no dispositivo do Gemini Nano usa a tecnologia do Android AICore, um novo recurso no nível do sistema que fornece acesso a modelos de fundação para execução no dispositivo, introduzido no Android 14. Os modelos de fundação são pré-instalados usando o AICore. Portanto, não é necessário fazer o download deles nem distribuí-los no seu app. É possível ajustar esses modelos para tarefas downstream usando o LoRa. O Android AICore agora está disponível em produção nos dispositivos Google Pixel 8 Pro e Samsung S24 Series e já está potencializando recursos inovadores nos apps do Google.
Para mais informações, consulte Android AICore.
A seguir
Para começar a usar o Gemini Nano no dispositivo com seu app, inscreva-se na prévia de acesso antecipado do SDK do Google AI Edge para Android.
Para saber como aproveitar a inferência do Gemini Pro nos servidores do Google no seu app Android, leia o guia de início rápido do SDK do cliente de IA do Google para Android.