เฟรมเวิร์กการอนุมานแบบโอเพนซอร์สที่พร้อมใช้งานจริง ซึ่งออกแบบมาเพื่อมอบการติดตั้งใช้งาน LLM ประสิทธิภาพสูงแบบข้ามแพลตฟอร์มบนอุปกรณ์ Edge
ภาพรวม เริ่มต้นใช้งาน
GenAI ในอุปกรณ์ใน Chrome, Chromebook Plus และ Pixel Watch ที่มี LiteRT-LM
อ่านเพิ่มเติม

ทำไมต้อง LiteRT-LM

ติดตั้งใช้งาน LLM ใน Android, iOS, เว็บ และเดสก์ท็อป
เพิ่มประสิทธิภาพสูงสุดด้วยการเร่งความเร็ว GPU และ NPU
รองรับ LLM ยอดนิยม รวมถึงความสามารถแบบหลายรูปแบบ (Vision, Audio) และการใช้เครื่องมือ

เริ่มสร้าง

Python API ที่มีการเร่งฮาร์ดแวร์ใน Linux, MacOS, Windows และ Raspberry Pi
คู่มือ Python
แอป Android ที่มาพร้อมเครื่องและเครื่องมือบนเดสก์ท็อปที่ใช้ JVM
คู่มือ Android
การผสานรวม iOS และ macOS แบบเนทีฟพร้อมการรองรับ Metal โดยเฉพาะ (API ของ Swift จะพร้อมใช้งานเร็วๆ นี้)
คู่มือ C++
API C++ แบบข้ามแพลตฟอร์ม
คู่มือ C++

บล็อกและประกาศ

ทำให้โมเดลภาษาใช้งานได้บนอุปกรณ์ที่สวมใส่ได้และแพลตฟอร์มที่ใช้เบราว์เซอร์โดยใช้ LiteRT-LM ในขนาดใหญ่
ดูวิธีปรับแต่ง FunctionGemma และเปิดใช้ความสามารถในการเรียกฟังก์ชันที่ขับเคลื่อนโดย LiteRT-LM Tool Use API
ข้อมูลเชิงลึกล่าสุดเกี่ยวกับ RAG, Multimodality และการเรียกใช้ฟังก์ชันสำหรับโมเดลภาษา Edge

เข้าร่วมชุมชน

ร่วมสนับสนุนโปรเจ็กต์โอเพนซอร์ส รายงานปัญหา และดูตัวอย่าง
ดูใน GitHub
ดาวน์โหลดโมเดลที่แปลงแล้วล่วงหน้าและเข้าร่วมการสนทนา
ดูใน Hugging Face