Guia de configuração para Android

Esta página mostra como configurar seu ambiente de desenvolvimento para usar o MediaPipe O Google Tarefas nos seus aplicativos Android.

Dispositivos e plataformas compatíveis

Para criar apps Android com o MediaPipe Tasks, sua requer o seguinte:

  • Android Studio com um recomendada de pelo menos a 2021.1.1 (Bumblebee) ou outra versão compatível IDE.
  • SDK do Android versão 24 ou mais recente
  • Dispositivo Android com pelo menos a versão mínima do SDK. Um Android Emulator. pode não funcionar para todas as tarefas.

Configuração do ambiente do desenvolvedor

Antes de executar uma tarefa MediaPipe em um aplicativo Android, é preciso ter um app existente ou crie um novo projeto do Android Studio na sua máquina local. O MediaPipe se encaixa na seção Data camada do seu app, que contém os dados do aplicativo e a lógica de negócios. Para mais informações sobre Arquitetura de apps Android, consulte o Guia para o app do Terraform.

Configuração de dispositivos Android

Ative as Opções do desenvolvedor e a depuração USB em um dispositivo Android físico antes de usá-lo para testar seu aplicativo. Para instruções sobre como configurar sua dispositivo com Opções do desenvolvedor, consulte Configurar o desenvolvedor no dispositivo .

Para tarefas que não exigem a câmera ou o microfone do dispositivo, você pode usar um Android Device Emulator em vez de um dispositivo Android físico. Para instruções sobre a configuração do Android Emulator, consulte Executar aplicativos no Android Emulador.

Exemplo de configuração de código

O MediaPipe Repositório de exemplos (em inglês) contém exemplos de aplicativos Android para cada tarefa do MediaPipe. É possível criar um a partir do código de exemplo, crie o projeto e o execute.

Para importar e criar o projeto de código de exemplo:

  1. Inicie o Android Studio.
  2. No Android Studio, selecione File > Novo > Importe o projeto.
  3. Navegue até o diretório de código de exemplo que contém o arquivo build.gradle e selecione esse diretório, por exemplo: .../mediapipe/examples/text_classification/android/build.gradle
  4. Se o Android Studio solicitar uma sincronização do Gradle, selecione OK.
  5. Verificar se o dispositivo Android está conectado ao computador e ao desenvolvedor está ativado. Clique na seta verde Run.

Se você selecionar o diretório correto, o Android Studio criará um novo projeto e o cria. Esse processo pode levar alguns minutos, dependendo da velocidade do seu computador e se você usou o Android Studio para outros projetos. Quando o build for concluído, o Android Studio exibirá uma mensagem BUILD SUCCESSFUL na Painel de status Build Output.

Para executar o projeto:

  1. No Android Studio, execute o projeto selecionando Run > Executar....
  2. Selecione um dispositivo Android (ou emulador) conectado para testar o app.

Dependências do MediaPipe Tasks

O MediaPipe Tasks oferece três bibliotecas pré-criadas para visão, texto e áudio. A O arquivo modelo .tflite precisa estar localizado no diretório de assets do Android módulo que usa o modelo. Dependendo da tarefa do MediaPipe usada pelo app, adicione a biblioteca de visão, texto ou áudio para a lista de dependências no build.gradle.

Tarefas da IA generativa

As bibliotecas de IA generativa do MediaPipe Tasks contêm tarefas que processam imagens ou geração de textos. Para importar as bibliotecas de IA generativa do MediaPipe Tasks para No Android Studio, adicione as dependências ao arquivo build.gradle.

Gerador de imagens

A tarefa Gerador de imagem do MediaPipe está contida no tasks-vision-image-generator. Adicione a dependência ao Arquivo build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}

API LLM Inference

A tarefa de inferência de LLMs do MediaPipe está contida no tasks-genai biblioteca. Adicione a dependência ao arquivo build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:latest.release'
}

Tarefas de visão

A biblioteca de visão do MediaPipe Tasks contém tarefas que lidam com imagens ou vídeos de entrada. Para importar a biblioteca de visão do MediaPipe Tasks no Android Studio, adicione as seguintes dependências ao arquivo build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Tarefas de texto

A biblioteca de texto MediaPipe Tasks contém tarefas que lidam com dados de idioma no em um formato de texto simples. Para importar a biblioteca de texto MediaPipe Tasks no Android Studio, adicione as seguintes dependências ao arquivo build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-text:latest.release'
}

Tarefas de áudio

A biblioteca de áudio do MediaPipe Tasks contém tarefas que processam entradas de som. Para importe a biblioteca de áudio MediaPipe Tasks no Android Studio, adicione o seguinte dependências ao arquivo build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Configuração BaseOptions

O BaseOptions permite a configuração geral das APIs MediaPipe Task.

Nome da opção Descrição Valores aceitos
modelAssetBuffer O conteúdo do arquivo de recursos do modelo como um ByteBuffer direto ou um MappedByteBuffer. ByteBuffer ou MappedByteBuffer como uma string
modelAssetPath O caminho do modelo para um arquivo de recurso de modelo na pasta de recursos de link para app Android. Caminho do arquivo como uma string
modelAssetFileDescriptor O número inteiro do descritor do arquivo nativo de um arquivo de recurso do modelo. Número inteiro que especifica o descritor de arquivo
Delegate Permite a aceleração de hardware por meio de um delegado do dispositivo para executar o pipeline MediaPipe. Valor padrão: CPU. [CPU,
GPU]

Aceleração de hardware

O MediaPipe Tasks oferece suporte ao uso de unidades de processamento gráfico (GPUs) para executar modelos de machine learning. Em dispositivos Android, você pode ativar o uso de Execução acelerada por GPU dos modelos usando um delegado. Os delegados agem como drivers de hardware para o MediaPipe, que permitem executar modelos em GPUs em vez dos processadores de CPU padrão.

Configure o delegado da GPU nas opções de tarefas por meio de BaseOptions:

BaseOptions baseOptions = BaseOptions.builder().useGpu().build();

Solução de problemas

Para obter ajuda com questões técnicas relacionadas ao MediaPipe, visite a discussão group ou Stack Overflow (em inglês) para receber suporte de na comunidade. Para informar bugs ou solicitar recursos, registre um problema no GitHub (em inglês).

Para receber ajuda na configuração do seu ambiente de desenvolvimento Android, visite a página do documentação do desenvolvedor.