Google Tensor es un sistema en chip (SoC) diseñado a medida para ejecutar modelos de IA en teléfonos Google Pixel. Tensor está optimizado para la eficiencia computacional y el consumo mínimo de energía. Utiliza un acelerador de inferencia de AA dedicado llamado TPU (unidad de procesamiento tensorial), al que se puede acceder a través del SDK de Google Tensor.
Regístrate para acceder a la versión beta del SDK de Google Tensor
El SDK de Google Tensor es un kit de desarrollo de software creado para optimizar el aprendizaje automático integrado en el dispositivo para los teléfonos Google Pixel utilizando el Tensor System-on-Chip (SoC) personalizado y su acelerador de inferencia de TPU dedicado. Este SDK proporciona un conjunto integral de herramientas que ayudan a los desarrolladores a acceder a modelos de código abierto seleccionados en Model Garden. Este kit también permite compilar modelos en formatos compatibles con TPU.
Características clave
- Acceso directo a hardware de TPU dedicado para una inferencia de AA eficiente en dispositivos Pixel
- Modelos de código abierto seleccionados y optimizados para el SDK en Model Garden.
Cómo configurar el entorno de desarrollo
A continuación, se indican las especificaciones de hardware y software requeridas, y los requisitos previos para utilizar el SDK de Google Tensor:
Hardware
- Una estación de trabajo de desarrollo local que utiliza un sistema operativo basado en Linux con una arquitectura x86_64.
- Sugerencia: Para determinar la arquitectura de tu estación de trabajo, puedes usar el comando
uname -mo una herramienta de diagnóstico similar.
- Sugerencia: Para determinar la arquitectura de tu estación de trabajo, puedes usar el comando
- Se requiere un mínimo de 16 GB de RAM.
La capacidad de RAM específica que se necesita para usar el SDK depende del tamaño de entrada de tu modelo. Para datos de entrada más importantes, se recomienda un mínimo de 64 GB de RAM.
Software
- Sistema operativo: Ubuntu 22.04 LTS
- Sistema de compilación: Bazel 7.4.1
- SDK de Android: Nivel de API 34 (Android 14)
- NDK de Android: Compatibilidad con el nivel de API 28 (Android 9 Pie)
(Opcional) Python 3.11.0
Android Debug Bridge (adb)
Requisitos previos
(Opcional) Un proyecto de Google Cloud (GCP) al que el equipo del SDK de Tensor le otorgó acceso a dispositivos Pixel remotos. Para obtener orientación sobre la creación de proyectos de Google Cloud, consulta Crea y administra proyectos.
(Opcional) Una copia descargada de
efficientnet_b0.tflite
SoCs compatibles
El SDK de Google Tensor admite los siguientes SoCs:
- Google Tensor G5 (Tensor_G5)
Próximos pasos
Sigue los pasos de conversión y de implementación en Aceleración de la NPU con LiteRT y elige Google Tensor cuando corresponda.
Para los modelos de lenguaje, consulta Ejecuta LLMs en la NPU con LiteRT-LM.