Google Tensor est un SoC (système sur une puce) conçu sur mesure pour exécuter des modèles d'IA sur les téléphones Google Pixel. Tensor est optimisé pour l'efficacité de calcul et une consommation d'énergie minimale. Il utilise un accélérateur d'inférence ML dédié appelé TPU (Tensor Processing Unit), accessible via le SDK Google Tensor.
S'inscrire pour accéder à la version bêta du SDK Google Tensor
Le SDK Google Tensor est un kit de développement logiciel créé pour optimiser le machine learning sur les appareils Google Pixel en utilisant le SoC Tensor personnalisé et son accélérateur d'inférence TPU dédié. Ce SDK fournit une suite complète d'outils qui aident les développeurs à accéder à des modèles Open Source sélectionnés dans Model Garden. Ce kit permet également de compiler des modèles dans des formats compatibles avec les TPU.
Principales fonctionnalités
- Accès direct au matériel TPU dédié pour une inférence ML efficace sur les appareils Pixel.
- Modèles Open Source sélectionnés et optimisés pour le SDK dans Model Garden.
Configurer l'environnement de développement
Vous trouverez ci-dessous les spécifications matérielles et logicielles requises, ainsi que les prérequis pour utiliser le SDK Google Tensor :
Matériel
- Une station de développement locale utilisant un système d'exploitation Linux avec une architecture x86_64.
- Conseil : Pour déterminer l'architecture de votre station de travail, vous pouvez utiliser la commande
uname -mou un outil de diagnostic similaire.
- Conseil : Pour déterminer l'architecture de votre station de travail, vous pouvez utiliser la commande
- Un minimum de 16 Go de RAM est requis.
La capacité de RAM spécifique nécessaire pour l'utilisation du SDK dépend de la taille d'entrée de votre modèle. Pour des données d'entrée plus importantes, nous vous recommandons d'utiliser au moins 64 Go de RAM.
Logiciel
- Système d'exploitation : Ubuntu 22.04 LTS
- Système de compilation : Bazel 7.4.1
- SDK Android : niveau d'API 34 (Android 14)
- NDK Android : compatibilité avec le niveau d'API 28 (Android 9 Pie)
(Facultatif) Python 3.11.0
Android Debug Bridge (adb)
Prérequis
(Facultatif) Un projet Google Cloud (GCP) auquel l'équipe du SDK Tensor a accordé l'accès à des appareils Pixel à distance. Pour obtenir des conseils sur la création d'un projet Google Cloud, consultez Créer et gérer des projets.
(Facultatif) Une copie téléchargée de
efficientnet_b0.tflite
SoC compatibles
Le SDK Google Tensor est compatible avec les SoC suivants :
- Google Tensor G5 (Tensor_G5)
Étapes suivantes
Suivez les étapes de conversion et de déploiement dans Accélération NPU avec LiteRT, en choisissant Google Tensor le cas échéant.
Pour les modèles de langage, consultez Exécuter des LLM sur un NPU à l'aide de LiteRT-LM.