Google Tensor (EdgeTPU) ที่มี LiteRT

Google Tensor เป็น System-on-Chip (SoC) ที่ออกแบบมาโดยเฉพาะเพื่อใช้เรียกใช้โมเดล AI ในโทรศัพท์ Google Pixel Tensor ได้รับการเพิ่มประสิทธิภาพเพื่อประสิทธิภาพในการคำนวณและการใช้พลังงานที่น้อยที่สุด โดยใช้ตัวเร่งความเร็วการอนุมาน ML เฉพาะที่เรียกว่า TPU (Tensor Processing Unit) ซึ่งเข้าถึงได้ผ่าน Google Tensor SDK

ลงชื่อสมัครใช้เพื่อเข้าถึง Google Tensor SDK รุ่นเบต้า

Google Tensor SDK เป็นชุดพัฒนาซอฟต์แวร์ที่สร้างขึ้นเพื่อเพิ่มประสิทธิภาพแมชชีนเลิร์นนิงในอุปกรณ์สำหรับโทรศัพท์ Google Pixel โดยใช้ Tensor System-on-Chip (SoC) ที่กำหนดเองและตัวเร่งความเร็วการอนุมาน TPU เฉพาะ SDK นี้มีชุดเครื่องมือที่ครอบคลุมซึ่งช่วยให้นักพัฒนาแอป เข้าถึงโมเดลโอเพนซอร์สที่คัดสรรมาแล้วใน Model Garden นอกจากนี้ ชุดเครื่องมือนี้ยังช่วยให้คอมไพล์โมเดลเป็นรูปแบบที่เข้ากันได้กับ TPU ได้ด้วย

ลงชื่อสมัครใช้

ฟีเจอร์หลัก

• การเข้าถึงฮาร์ดแวร์ TPU เฉพาะโดยตรง เพื่อการอนุมาน ML ที่มีประสิทธิภาพในอุปกรณ์ Pixel
• โมเดลโอเพนซอร์สที่คัดสรรมาแล้วซึ่งได้รับการเพิ่มประสิทธิภาพสำหรับ SDK ใน Model Garden

ตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์

ข้อกำหนดฮาร์ดแวร์และซอฟต์แวร์ที่จำเป็น รวมถึงข้อกำหนดเบื้องต้นสำหรับการใช้ Google Tensor SDK มีดังนี้

SoC ที่รองรับ

Google Tensor SDK รองรับ SoC ต่อไปนี้

• Google Tensor G5 (Tensor_G5)

ขั้นตอนถัดไป

1. ทำตามขั้นตอนการแปลงและการทำให้ใช้งานได้ใน การเร่งความเร็ว NPU ด้วย LiteRT โดยเลือก Google Tensor ตามความเหมาะสม

2. สำหรับโมเดลภาษา โปรดดูหัวข้อ เรียกใช้ LLM ใน NPU โดยใช้ LiteRT-LM