พอร์ทัล Google AI Edge

โซลูชัน Google Cloud ของ AI Edge สำหรับการทดสอบและเปรียบเทียบแมชชีนเลิร์นนิง (ML) ในอุปกรณ์ที่ปรับขนาดได้

ลงชื่อสมัครใช้

การเพิ่มประสิทธิภาพโมเดล ML ในอุปกรณ์เคลื่อนที่ที่หลากหลายอาจเป็นเรื่องท้าทาย การทดสอบด้วยตนเองนั้นช้า มีค่าใช้จ่ายสูง และนักพัฒนาซอฟต์แวร์ส่วนใหญ่มักเข้าถึงไม่ได้ ซึ่งทำให้เกิดความไม่แน่นอนในประสิทธิภาพของโมเดลในโลกแห่งความเป็นจริง Google AI Edge Portal แก้ปัญหานี้ด้วยการเปิดใช้การเปรียบเทียบโมเดล LiteRT ในอุปกรณ์เคลื่อนที่หลากหลายประเภท ซึ่งช่วยให้นักพัฒนาซอฟต์แวร์ค้นหาการกำหนดค่าที่ดีที่สุดสำหรับการติดตั้งใช้งานโมเดล ML ขนาดใหญ่

การเพิ่มประสิทธิภาพการใช้งาน ML บนอุปกรณ์เคลื่อนที่

• ลดความซับซ้อนและเร่งรอบการทดสอบในสภาพแวดล้อมฮาร์ดแวร์ที่หลากหลาย ประเมินประสิทธิภาพของโมเดลในอุปกรณ์เคลื่อนที่ที่เป็นตัวแทนหลายร้อยเครื่องได้อย่างง่ายดายภายในไม่กี่นาที

• รับประกันคุณภาพของโมเดลและระบุปัญหาตั้งแต่เนิ่นๆ เชิงรุก: ระบุ ความแตกต่างหรือการถดถอยของประสิทธิภาพที่เฉพาะเจาะจงกับฮาร์ดแวร์ (เช่น ในชิปเซ็ต หรืออุปกรณ์ที่มีข้อจำกัดด้านหน่วยความจำบางอย่าง) ก่อนการติดตั้งใช้งาน

• ลดต้นทุนการทดสอบอุปกรณ์และเข้าถึงฮาร์ดแวร์ล่าสุด: ทดสอบในกลุ่มอุปกรณ์จริงที่หลากหลายและเพิ่มขึ้นอย่างต่อเนื่อง (ปัจจุบันมีอุปกรณ์มากกว่า 100 รุ่นจาก OEM ต่างๆ ของ Android) โดยไม่ต้องเสียค่าใช้จ่ายและความซับซ้อนในการดูแลห้องทดลองของคุณเอง

• ปลดล็อกการตัดสินใจที่อิงตามข้อมูลและข่าวกรองทางธุรกิจที่มีประสิทธิภาพ: Google AI Edge Portal ให้ข้อมูลประสิทธิภาพและการเปรียบเทียบที่ครอบคลุม ซึ่งเป็น ข่าวกรองทางธุรกิจที่สำคัญซึ่งจำเป็นต่อการนำการเพิ่มประสิทธิภาพโมเดล และตรวจสอบความพร้อมในการใช้งาน

ตัวอย่างการเปรียบเทียบ

Google AI Edge Portal ช่วยคุณเปรียบเทียบโมเดล LiteRT ได้อย่างไร

1. เลือกอุปกรณ์: เลือกอุปกรณ์เป้าหมายจากกลุ่มอุปกรณ์จำนวนมากของเราโดยใช้ตัวกรองฮาร์ดแวร์ที่เฉพาะเจาะจง ซึ่งรวมถึงการรองรับ NPU, ระดับอุปกรณ์, แบรนด์, ชิปเซ็ต และ RAM หรือจะใช้ทางลัดที่เราคัดสรรมาให้เพื่อเข้าถึงรายการอุปกรณ์ยอดนิยมได้ทันทีก็ได้

2. สร้างการกำหนดค่า: เลือกตัวเร่ง CPU, GPU หรือ NPU สำหรับงานการเปรียบเทียบ

   • การปรับแต่งขั้นสูง: ปรับการตั้งค่าเฉพาะฮาร์ดแวร์สำหรับตัวเร่งความเร็วที่เลือก หรือใช้ค่าเริ่มต้น

   • การรองรับ NPU: ความสามารถในการเร่งฮาร์ดแวร์ตอนนี้รวมถึง NPU ด้วย โดยมีอุปกรณ์ Qualcomm กว่า 30 เครื่อง

     • การคอมไพล์ล่วงหน้า (AOT): แนะนำสำหรับประสิทธิภาพระดับเวอร์ชันที่ใช้งานจริง ซึ่งช่วยให้การเริ่มต้นทำงานเร็วขึ้นอย่างมากและใช้หน่วยความจำน้อยลง โหมดนี้กำหนดให้ต้องระบุโมเดลที่คอมไพล์แล้วสำหรับ SoC แต่ละตัว ที่ไม่ซ้ำกันในการเลือกอุปกรณ์
     • การคอมไพล์แบบทันที (JIT): รองรับโมเดลเดียวสำหรับการคอมไพล์ในอุปกรณ์ที่เลือก

   • อัปโหลดโมเดล: อัปโหลดไฟล์โมเดลโดยใช้ UI หรือชี้ไปยังไฟล์ใน Bucket ของ Google Cloud Storage

สร้างงานการเปรียบเทียบใหม่ในอุปกรณ์กว่า 100 เครื่อง (หมายเหตุ: GIF เร่งความเร็วและตัดต่อให้สั้นลง)

จากนั้นส่งงานและรอให้เสร็จสมบูรณ์ เมื่อพร้อมแล้ว ให้สำรวจผลลัพธ์ในแดชบอร์ดแบบอินเทอร์แอกทีฟโดยทำดังนี้

• เปรียบเทียบการกำหนดค่า: แสดงภาพอย่างรวดเร็วว่าเมตริกประสิทธิภาพ (เช่น เวลาในการตอบสนองเฉลี่ย หน่วยความจำสูงสุด) แตกต่างกันอย่างไรเมื่อใช้ตัวเร่งความเร็วที่ต่างกันใน อุปกรณ์ที่ทดสอบทั้งหมด

• วิเคราะห์ผลกระทบของอุปกรณ์: ดูว่าการกำหนดค่ารุ่นที่เฉพาะเจาะจงทำงานอย่างไรใน ช่วงของอุปกรณ์ที่เลือก ใช้ฮิสโทแกรมและแผนภูมิกระจายเพื่อระบุความแตกต่างของประสิทธิภาพที่เชื่อมโยงกับลักษณะของอุปกรณ์ได้อย่างรวดเร็ว

• เมตริกแบบละเอียด: เข้าถึงตารางแบบละเอียดที่จัดเรียงได้ซึ่งแสดงเมตริกที่เฉพาะเจาะจง (เวลาในการเริ่มต้น, เวลาในการตอบสนองของการอนุมาน, การใช้หน่วยความจำ) สำหรับอุปกรณ์แต่ละเครื่อง พร้อมกับข้อกำหนดของฮาร์ดแวร์ ตรวจสอบการใช้ฮาร์ดแวร์ด้วยตารางการจัดสรรตัวเร่ง ซึ่งแสดงวิธีกระจายการดำเนินการของโมเดลในเคอร์เนล (พร้อมใช้งานสำหรับ CPU และ GPU โดยจะรองรับ NPU ในเร็วๆ นี้)

ดูผลการเปรียบเทียบในแดชบอร์ดแบบอินเทอร์แอกทีฟ (หมายเหตุ: GIF เร่งความเร็วและตัดต่อเพื่อความกระชับ)

เข้าร่วมเวอร์ชันตัวอย่างแบบส่วนตัวของ Google AI Edge Portal

พอร์ทัล Google AI Edge พร้อมให้บริการในเวอร์ชันตัวอย่างส่วนตัวสำหรับลูกค้า Google Cloud ที่ได้รับอนุญาต ในช่วงเวอร์ชันตัวอย่างแบบส่วนตัวนี้ เราจะให้สิทธิ์เข้าถึงโดยไม่มีค่าใช้จ่ายภายใต้ข้อกำหนดของเวอร์ชันตัวอย่าง

เวอร์ชันตัวอย่างนี้เหมาะสำหรับนักพัฒนาซอฟต์แวร์และทีมที่สร้างแอปพลิเคชัน ML บนอุปกรณ์เคลื่อนที่ ด้วย LiteRT ซึ่งต้องการข้อมูลการเปรียบเทียบที่เชื่อถือได้ในฮาร์ดแวร์ Android ที่หลากหลาย และยินดีที่จะให้ความคิดเห็นเพื่อช่วยกำหนดอนาคตของผลิตภัณฑ์ หากต้องการ ขอสิทธิ์เข้าถึง โปรดกรอกแบบฟอร์มลงชื่อสมัครใช้ที่นี่ เพื่อแสดงความสนใจ ระบบจะให้สิทธิ์เข้าถึงผ่านการอนุญาตพิเศษ