Google Tensor (EdgeTPU) com LiteRT

O Google Tensor é um sistema em um chip (SoC, na sigla em inglês) projetado para executar modelos de IA em smartphones Google Pixel. O Tensor é otimizado para eficiência computacional e consumo mínimo de energia. Ele usa um acelerador de inferência de ML dedicado chamado TPU (Unidade de Processamento de Tensor), que pode ser acessado pelo SDK do Google Tensor.

Inscrever-se para ter acesso à versão Beta do SDK do Google Tensor

O SDK do Google Tensor é um kit de desenvolvimento de software criado para otimizar o aprendizado de máquina no dispositivo para smartphones Google Pixel usando o Tensor System-on-Chip (SoC) personalizado e o acelerador de inferência de TPU dedicado. Esse SDK oferece um conjunto abrangente de ferramentas que ajudam os desenvolvedores a acessar modelos de código aberto selecionados no Model Garden. Esse kit também permite a compilação de modelos em formatos compatíveis com TPU.

 Inscrever-se

Principais recursos

  • Acesso direto ao hardware de TPU dedicado para inferência de ML eficiente em dispositivos Pixel.
  • Modelos de código aberto selecionados e otimizados para o SDK no Model Garden.

Configurar o ambiente de desenvolvimento

Confira abaixo as especificações de hardware e software necessárias e os pré-requisitos para usar o SDK do Google Tensor:

Hardware

  • Uma estação de trabalho de desenvolvimento local que usa um sistema operacional baseado em Linux com uma arquitetura x86_64.
    • Dica:para determinar a arquitetura da sua estação de trabalho, use o comando uname -m ou uma ferramenta de diagnóstico semelhante.
  • É necessário ter pelo menos 16 GB de RAM.
    A capacidade específica de RAM necessária para o uso do SDK depende do tamanho da entrada do seu modelo. Para dados de entrada mais substanciais, recomendamos um mínimo de 64 GB de RAM.

Software

  • Sistema operacional:Ubuntu 22.04 LTS
  • Sistema de build:Bazel 7.4.1
  • SDK do Android:nível 34 da API (Android 14)
  • Android NDK:suporte ao nível 28 da API (Android 9 Pie)

  • (Opcional) Python 3.11.0

  • Android Debug Bridge (adb)

Pré-requisitos

  • (Opcional) Um projeto do Google Cloud (GCP) que recebeu acesso a dispositivos Pixel remotos da equipe do SDK do Tensor. Para orientações sobre a criação de projetos na nuvem do Google Cloud, consulte Como criar e gerenciar projetos.

  • (Opcional) Uma cópia baixada de efficientnet_b0.tflite

SoCs compatíveis

O SDK do Google Tensor é compatível com os seguintes SoCs:

  • Google Tensor G5 (Tensor_G5)

Próximas etapas

  1. Siga as etapas de conversão e implantação em Aceleração de NPU com LiteRT, escolhendo o Google Tensor conforme aplicável.

  2. Para modelos de linguagem, consulte Executar LLMs em NPUs usando o LiteRT-LM.