การเร่งความเร็ว NPU ด้วย LiteRT Next
LiteRT Next มีอินเทอร์เฟซแบบรวมเพื่อใช้หน่วยประมวลผลนิวรอน (NPU)
โดยไม่ต้องบังคับให้คุณไปยังคอมไพเลอร์
รันไทม์ หรือการอ้างอิงไลบรารีเฉพาะของผู้ให้บริการแต่ละราย การใช้ LiteRT Next เพื่อการเร่งความเร็ว NPU จะช่วยหลีกเลี่ยง
ความซับซ้อนเฉพาะผู้จำหน่ายหรือเฉพาะอุปกรณ์จำนวนมาก เพิ่มประสิทธิภาพสำหรับ
การอนุมานแบบเรียลไทม์และโมเดลขนาดใหญ่ และลดการคัดลอกหน่วยความจำผ่าน
การใช้บัฟเฟอร์ฮาร์ดแวร์แบบไม่คัดลอก
หากลงทะเบียนเข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัว NPU ของ LiteRT แล้ว ให้ลงชื่อเข้าใช้บัญชีที่ได้รับอนุญาตเพื่อดูเอกสารประกอบเกี่ยวกับ NPU หากยังไม่ได้ลงทะเบียน ให้ลงชื่อสมัครเข้าร่วมโปรแกรมทดลองใช้ก่อนเปิดตัวโดยทำดังนี้
ลงชื่อ
สมัครเลยarrow_forward
เริ่มต้นใช้งาน
หากต้องการเริ่มต้นใช้งาน โปรดดูคู่มือภาพรวมของ NPU
- สำหรับโมเดล ML แบบคลาสสิก ให้ดำเนินการกับเฟรมเวิร์กหลักโดยตรงดังนี้
- สำหรับโมเดลภาษาขนาดใหญ่ (LLM) เราขอแนะนำให้ใช้เฟรมเวิร์ก
LiteRT-LM เพื่อจัดการ
การประมวลผลแบบครบวงจรที่จำเป็นสำหรับการดำเนินการ NPU ดังนี้
ดูตัวอย่างการใช้งาน LiteRT Next ที่รองรับ NPU ได้ในแอปพลิเคชันเดโมต่อไปนี้
ผู้ให้บริการ NPU
LiteRT Next รองรับการเร่งความเร็ว NPU กับผู้ให้บริการต่อไปนี้
เนื้อหาของหน้าเว็บนี้ได้รับอนุญาตภายใต้ใบอนุญาตที่ต้องระบุที่มาของครีเอทีฟคอมมอนส์ 4.0 และตัวอย่างโค้ดได้รับอนุญาตภายใต้ใบอนุญาต Apache 2.0 เว้นแต่จะระบุไว้เป็นอย่างอื่น โปรดดูรายละเอียดที่นโยบายเว็บไซต์ Google Developers Java เป็นเครื่องหมายการค้าจดทะเบียนของ Oracle และ/หรือบริษัทในเครือ
อัปเดตล่าสุด 2025-09-03 UTC
[[["เข้าใจง่าย","easyToUnderstand","thumb-up"],["แก้ปัญหาของฉันได้","solvedMyProblem","thumb-up"],["อื่นๆ","otherUp","thumb-up"]],[["ไม่มีข้อมูลที่ฉันต้องการ","missingTheInformationINeed","thumb-down"],["ซับซ้อนเกินไป/มีหลายขั้นตอนมากเกินไป","tooComplicatedTooManySteps","thumb-down"],["ล้าสมัย","outOfDate","thumb-down"],["ปัญหาเกี่ยวกับการแปล","translationIssue","thumb-down"],["ตัวอย่าง/ปัญหาเกี่ยวกับโค้ด","samplesCodeIssue","thumb-down"],["อื่นๆ","otherDown","thumb-down"]],["อัปเดตล่าสุด 2025-09-03 UTC"],[],[]]
