เรียกใช้ LLM บนอุปกรณ์ด้วย LiteRT-LM
เฟรมเวิร์กการอนุมานแบบโอเพนซอร์สที่พร้อมใช้งานจริง ซึ่งออกแบบมาเพื่อมอบการติดตั้งใช้งาน LLM ประสิทธิภาพสูงแบบข้ามแพลตฟอร์มบนอุปกรณ์ Edge
ทำไมต้อง LiteRT-LM
ข้ามแพลตฟอร์ม
ติดตั้งใช้งาน LLM ใน Android, iOS, เว็บ และเดสก์ท็อป
เร่งด้วยฮาร์ดแวร์
เพิ่มประสิทธิภาพสูงสุดด้วยการเร่งความเร็ว GPU และ NPU
ความสามารถที่หลากหลายของ GenAI
รองรับ LLM ยอดนิยม รวมถึงความสามารถแบบหลายรูปแบบ (Vision, Audio) และการใช้เครื่องมือ
โมเดลที่รองรับ
เรียกใช้โมเดลโอเพนซอร์สล่าสุดที่ได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์ Edge ซึ่งรวมถึง Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 และอื่นๆ