LiteRT가 적용된 Google Tensor (EdgeTPU)

Google Tensor는 Google Pixel 휴대전화에서 AI 모델을 실행하기 위해 맞춤 설계된 SoC (System-on-Chip)입니다. Tensor는 컴퓨팅 효율성과 최소한의 에너지 소비에 최적화되어 있습니다. Google Tensor SDK를 통해 액세스할 수 있는 TPU (Tensor Processing Unit)라는 전용 ML 추론 가속기를 사용합니다.

Google Tensor SDK 베타 액세스 신청

Google Tensor SDK는 맞춤 Tensor SoC와 전용 TPU 추론 가속기를 활용하여 Google Pixel 휴대전화의 온디바이스 머신러닝을 최적화하기 위해 만들어진 소프트웨어 개발 키트입니다. 이 SDK는 개발자가 Model Garden에서 엄선된 오픈소스 모델에 액세스하는 데 도움이 되는 포괄적인 도구 모음을 제공합니다. 또한 이 키트를 사용하면 모델을 TPU 호환 형식으로 컴파일할 수 있습니다.

 신청

주요 특징

  • Pixel 기기에서 효율적인 ML 추론을 위한 전용 TPU 하드웨어에 직접 액세스
  • Model Garden 에서 SDK에 최적화된 엄선된 오픈소스 모델

개발 환경 설정

다음은 필수 하드웨어 및 소프트웨어 사양과 Google Tensor SDK를 활용하기 위한 기본 요건입니다.

하드웨어

  • x86_64 아키텍처 가 있는 Linux 기반 운영체제를 사용하는 로컬 개발 워크스테이션
    • 도움말: 워크스테이션의 아키텍처를 확인하려면 uname -m 명령어 또는 유사한 진단 도구를 사용하면 됩니다.
  • 최소 16GB RAM 이 필요합니다.
    SDK 사용에 필요한 특정 RAM 용량은 모델의 입력 크기에 따라 다릅니다. 더 많은 입력 데이터의 경우 최소 64GB RAM이 권장됩니다.

소프트웨어

  • 운영체제: Ubuntu 22.04 LTS
  • 빌드 시스템: Bazel 7.4.1
  • Android SDK: API 수준 34 (Android 14)
  • Android NDK: API 수준 28 (Android 9 Pie) 지원

  • (선택사항) Python 3.11.0

  • Android 디버그 브리지 (adb)

기본 요건

  • (선택사항) Tensor SDK팀에서 원격 Pixel 기기에 액세스할 수 있는 권한을 부여한 Google Cloud 프로젝트 (GCP) Google Cloud 프로젝트 생성에 관한 안내는 다음 자료를 참고하세요. 프로젝트 만들기 및 관리

  • (선택사항) 다운로드한 efficientnet_b0.tflite 사본

지원되는 SoC

Google Tensor SDK는 다음 SoC를 지원합니다.

  • Google Tensor G5 (Tensor_G5)

다음 단계

  1. LiteRT를 사용한 NPU 가속에서 변환 및 배포 단계를 따르고 해당하는 경우 Google Tensor를 선택합니다.

  2. 언어 모델의 경우 LiteRT-LM을 사용하여 NPU에서 LLM 실행을 참고하세요.