Gemini Nano, a menor versão da família de modelos Gemini, pode ser executado em dispositivos Android compatíveis, começando com o Google Pixel 8 Pro e Série Samsung S24.
Para executar o modelo Gemini Nano no Android, você precisa usar o SDK AI Edge do Google para Android, que fornece APIs para:
- Determine se o dispositivo Android subjacente tem suporte.
- Acesse o modelo Gemini Nano.
- Ajustar configurações de segurança.
- Execute inferências com alto desempenho e implemente substitutos.
- Opcionalmente, forneça um bloco de ajuste fino do LoRA para melhorar o desempenho da adequado para seu caso de uso.
As APIs para acessar o Gemini Nano são compatíveis com a modalidade de texto para texto, e muito mais modalidades que serão lançadas no futuro.
Benefícios da execução no dispositivo
A execução no dispositivo permite o seguinte:
- Processamento local de dados sensíveis: o processamento local pode ajudar você evitar o envio de dados do usuário para a nuvem. Isso é importante para apps que lidam dados sensíveis, como apps de mensagens com criptografia de ponta a ponta.
- Acesso off-line: os usuários podem acessar recursos de IA mesmo sem conexão com a Internet. Isso é útil para aplicativos que precisam funcionar off-line ou com conectividade variável.
- Economia de custos: é possível reduzir os custos de inferência descarregando a execução para hardware para consumidores. Isso pode gerar economias de custo significativas para fluxos de usuários.
A execução no dispositivo do Gemini tem muitos benefícios: No entanto, para casos de uso que modelos do Gemini maiores e oferecer suporte a vários dispositivos, considerar usar a API Gemini para acessar o Gemini no servidor. Você pode fazer isso por meio da integração de back-end (com Python, Go, Node.js ou REST) ou diretamente de seu app Android com a nova SDK cliente da IA do Google para Android.
Como funciona
A execução no dispositivo do Gemini Nano usa a tecnologia do Android AICore, uma nova recurso no nível do sistema que dá acesso a modelos de fundação para dispositivos no e execução, introduzido no Android 14. Os modelos de fundação são pré-instalados usando AICore, para que você não precise fazer o download nem distribuir dentro do app. Você pode ajustar esses modelos para tarefas downstream usando a LoRa. O AICore do Android é já disponível em produção em dispositivos Google Pixel 8 Pro e Samsung série S24 e já utiliza recursos inovadores nos apps do Google.
Para mais informações, consulte AICore do Android.
A seguir
- Para saber como aproveitar a inferência do Gemini Pro nos servidores do Google no seu app Android, leia o guia de início rápido para SDK de cliente da IA do Google para Android.