เฟรมเวิร์กการอนุมานแบบโอเพนซอร์สที่พร้อมใช้งานจริง ซึ่งออกแบบมาเพื่อมอบการติดตั้งใช้งาน LLM ประสิทธิภาพสูงแบบข้ามแพลตฟอร์มบนอุปกรณ์ Edge
ภาพรวม เริ่มต้นใช้งาน

สปอตไลท์

เพิ่มประสิทธิภาพการอนุมานในอุปกรณ์ของ Gemma 4 ด้วยการคาดการณ์หลายโทเค็น (MTP) สัมผัสความเร็วในการถอดรหัสที่เร็วขึ้นกว่า 2 เท่าใน GPU ของอุปกรณ์เคลื่อนที่โดยที่คุณภาพไม่ลดลง
บล็อกโพสต์ คำแนะนำ

ทำไมต้อง LiteRT-LM

ติดตั้งใช้งาน LLM ใน Android, iOS, เว็บ และเดสก์ท็อป
เพิ่มประสิทธิภาพสูงสุดด้วยการเร่งความเร็ว GPU และ NPU
รองรับ LLM ยอดนิยม รวมถึงความสามารถแบบหลายรูปแบบ (Vision, Audio) และการใช้เครื่องมือ

เริ่มสร้าง

Python API ที่มีการเร่งฮาร์ดแวร์ใน Linux, MacOS, Windows และ Raspberry Pi
คู่มือ Python
แอป Android ที่มาพร้อมเครื่องและเครื่องมือบนเดสก์ท็อปที่ใช้ JVM
คู่มือ Android
การผสานรวม iOS และ macOS แบบเนทีฟพร้อมการรองรับ Metal โดยเฉพาะ (API ของ Swift จะพร้อมใช้งานเร็วๆ นี้)
คู่มือ C++
API C++ แบบข้ามแพลตฟอร์ม
คู่มือ C++

เข้าร่วมชุมชน

ร่วมสนับสนุนโปรเจ็กต์โอเพนซอร์ส รายงานปัญหา และดูตัวอย่าง
ดูใน GitHub
ดาวน์โหลดโมเดลที่แปลงแล้วล่วงหน้า (Gemma, Qwen และอื่นๆ) แล้วเข้าร่วมการสนทนา
ดูใน Hugging Face

บล็อกและประกาศ

ติดตั้งใช้งาน Gemma 4 ในแอปและในอุปกรณ์ที่หลากหลายมากขึ้นด้วยประสิทธิภาพและการเข้าถึงที่ยอดเยี่ยมโดยใช้ LiteRT-LM
ทำให้โมเดลภาษาใช้งานได้บนอุปกรณ์ที่สวมใส่ได้และแพลตฟอร์มที่ใช้เบราว์เซอร์โดยใช้ LiteRT-LM ในขนาดใหญ่
ดูวิธีปรับแต่ง FunctionGemma และเปิดใช้ความสามารถในการเรียกฟังก์ชันที่ขับเคลื่อนโดย LiteRT-LM Tool Use API
ข้อมูลเชิงลึกล่าสุดเกี่ยวกับ RAG, Multimodality และการเรียกใช้ฟังก์ชันสำหรับโมเดลภาษา Edge