ผู้รับมอบสิทธิ์ LiteRT สำหรับ NPU

ระบบนิเวศของ Android ครอบคลุมอุปกรณ์ที่หลากหลายซึ่งมีหน่วยประมวลผลระบบประสาท (NPU) ที่แตกต่างกัน การใช้ NPU เฉพาะเหล่านี้สามารถเร่งการอนุมานโมเดล LiteRT (TFLite) และลดการใช้พลังงานได้อย่างมากเมื่อเทียบกับการเรียกใช้ CPU หรือ GPU ซึ่งจะช่วยปรับปรุงประสบการณ์ของผู้ใช้ในแอปพลิเคชัน

ผู้ให้บริการชิปที่ผลิต NPU จะเป็นผู้มอบสิทธิ์ LiteRT เพื่ออนุญาตให้แอปของคุณใช้ฮาร์ดแวร์เฉพาะในอุปกรณ์ของผู้ใช้แต่ละราย

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct Delegate ช่วยให้ผู้ใช้เรียกใช้โมเดล LiteRT ได้โดยใช้รันไทม์ AI Engine Direct ตัวแทนได้รับการสนับสนุนจาก Neural Network API ของ Qualcomm

Qualcomm® AI Engine Direct Delegate มีให้บริการใน Maven Central ดูข้อมูลเพิ่มเติมได้ที่เอกสารประกอบเกี่ยวกับเครือข่ายประสาท Qualcomm

เร็วๆ นี้

เราหวังว่าจะได้ให้การสนับสนุนผู้ได้รับมอบสิทธิ์จากผู้ให้บริการต่อไปนี้ในอีกไม่กี่เดือนข้างหน้า

  • Google Pixel
  • MediaTek
  • Samsung System LSI

โปรดรอติดตามข้อมูลอัปเดตและวิธีการเพิ่มเติมในการใช้ตัวแทนเหล่านี้เพื่อใช้ประโยชน์จาก NPU ในโมเดล TFLite