เฟรมเวิร์กการอนุมานแบบโอเพนซอร์สที่พร้อมใช้งานจริง ซึ่งออกแบบมาเพื่อมอบการติดตั้งใช้งาน LLM ประสิทธิภาพสูงแบบข้ามแพลตฟอร์มบนอุปกรณ์ Edge
ภาพรวม เริ่มต้นใช้งาน

สปอตไลท์

เพิ่มประสิทธิภาพการอนุมานในอุปกรณ์ของ Gemma 4 ด้วยการคาดการณ์หลายโทเค็น (MTP) สัมผัสความเร็วในการถอดรหัสที่เร็วขึ้นกว่า 2 เท่าใน GPU ของอุปกรณ์เคลื่อนที่โดยที่คุณภาพไม่ลดลง
บล็อกโพสต์ คำแนะนำ

ทำไมต้อง LiteRT-LM

ติดตั้งใช้งาน LLM ใน Android, iOS, เว็บ และเดสก์ท็อป
เพิ่มประสิทธิภาพสูงสุดด้วยการเร่งความเร็ว GPU และ NPU
รองรับ LLM ยอดนิยม รวมถึงความสามารถแบบหลายรูปแบบ (Vision, Audio) และการใช้เครื่องมือ

เริ่มสร้าง

Python API ที่มีการเร่งฮาร์ดแวร์ใน Linux, MacOS, Windows และ Raspberry Pi
คู่มือ Python
แอป Android ที่มาพร้อมเครื่องและเครื่องมือบนเดสก์ท็อปที่ใช้ JVM
คู่มือ Android
API ของ Swift สำหรับ iOS (macOS จะพร้อมใช้งานเร็วๆ นี้)
คู่มือ Swift
JavaScript และ TypeScript API สำหรับเว็บแอปที่ทำงานในเบราว์เซอร์ซึ่งมีการเร่งความเร็ว WebGPU
Web Guide
สร้างแอป Flutter แบบข้ามแพลตฟอร์มโดยใช้แพ็กเกจ flutter_gemma ที่ชุมชนดูแล
คู่มือ Flutter
API C++ แบบข้ามแพลตฟอร์ม
คู่มือ C++
สร้างไฟล์ .litertlm จากโมเดล LiteRT ที่แปลงแล้ว
คู่มือเครื่องมือสร้างไฟล์

เข้าร่วมชุมชน

ร่วมสนับสนุนโปรเจ็กต์โอเพนซอร์ส รายงานปัญหา และดูตัวอย่าง
ดูใน GitHub
ดาวน์โหลดโมเดลที่แปลงแล้วล่วงหน้า (Gemma, Qwen และอื่นๆ) แล้วเข้าร่วมการสนทนา
ดูใน Hugging Face

บล็อกและประกาศ

ติดตั้งใช้งาน Gemma 4 ในแอปและในอุปกรณ์ที่หลากหลายมากขึ้นด้วยประสิทธิภาพและการเข้าถึงที่ยอดเยี่ยมโดยใช้ LiteRT-LM
ทำให้โมเดลภาษาใช้งานได้บนอุปกรณ์ที่สวมใส่ได้และแพลตฟอร์มที่ใช้เบราว์เซอร์โดยใช้ LiteRT-LM ในขนาดใหญ่
ดูวิธีปรับแต่ง FunctionGemma และเปิดใช้ความสามารถในการเรียกฟังก์ชันที่ขับเคลื่อนโดย LiteRT-LM Tool Use API
ข้อมูลเชิงลึกล่าสุดเกี่ยวกับ RAG, Multimodality และการเรียกใช้ฟังก์ชันสำหรับโมเดลภาษา Edge