Google Tensor (EdgeTPU) с LiteRT

Google Tensor — это специально разработанная система на кристалле (SoC), предназначенная для запуска моделей искусственного интеллекта на телефонах Google Pixel. Tensor оптимизирован для повышения вычислительной эффективности и минимального энергопотребления. Он использует выделенный ускоритель вывода машинного обучения, называемый TPU (Tensor Processing Unit), доступный через Google Tensor SDK.

Зарегистрируйтесь, чтобы получить доступ к бета-версии Google Tensor SDK.

Google Tensor SDK — это комплект для разработки программного обеспечения, созданный для оптимизации машинного обучения на устройствах телефонов Google Pixel с использованием собственной системы на кристалле (SoC) Tensor и выделенного ускорителя вывода TPU. Этот SDK предоставляет полный набор инструментов, которые помогают разработчикам получать доступ к тщательно отобранным моделям с открытым исходным кодом в Model Garden . Этот комплект также позволяет компилировать модели в форматы, совместимые с TPU.

 Зарегистрироваться

Основные характеристики

  • Прямой доступ к выделенному аппаратному обеспечению TPU для эффективного выполнения задач машинного обучения на устройствах Pixel.
  • Подборка моделей с открытым исходным кодом, оптимизированных для SDK в Model Garden .

Настройте среду разработки.

Ниже приведены необходимые аппаратные и программные характеристики, а также предварительные условия для использования Google Tensor SDK:

Аппаратное обеспечение

  • Локальная рабочая станция для разработки, использующая операционную систему на базе Linux с архитектурой x86_64 .
    • Совет: Чтобы определить архитектуру вашей рабочей станции, вы можете использовать команду uname -m или аналогичный диагностический инструмент.
  • Требуется минимум 16 ГБ оперативной памяти .
    Необходимый для использования SDK объем оперативной памяти зависит от размера входных данных вашей модели. Для больших объемов входных данных рекомендуется минимум 64 ГБ оперативной памяти.

Программное обеспечение

  • Операционная система: Ubuntu 22.04 LTS
  • Система сборки: Bazel 7.4.1
  • Android SDK: API Level 34 (Android 14)
  • Android NDK: Поддержка API уровня 28 (Android 9 Pie)

  • (Необязательно) Python 3.11.0

  • Отладочный мост Android (adb)

Предварительные требования

  • (Необязательно) Проект Google Cloud (GCP), которому команда Tensor SDK предоставила доступ к удаленным устройствам Pixel. Для получения рекомендаций по созданию проектов Google Cloud см. раздел « Создание и управление проектами» .

  • (Необязательно) Загруженная копия файла efficientnet_b0.tflite

Поддерживаемые SoC

Google Tensor SDK поддерживает следующие SoC:

  • Google Tensor G5 (Tensor_G5)

Следующие шаги

  1. Выполните шаги по преобразованию и развертыванию в режиме ускорения NPU с помощью LiteRT , выбрав Google Tensor, если это применимо.

  2. Для получения информации о языковых моделях см. раздел «Выполнение LLM на NPU с использованием LiteRT-LM» .