यह प्रोडक्शन के लिए तैयार, ओपन-सोर्स इन्फ़्रेंस फ़्रेमवर्क है. इसे एज डिवाइसों पर, क्रॉस-प्लैटफ़ॉर्म एलएलएम डिप्लॉयमेंट की बेहतर परफ़ॉर्मेंस देने के लिए डिज़ाइन किया गया है.
खास जानकारी शुरू करें
Chrome, Chromebook Plus, और Pixel Watch में डिवाइस पर काम करने वाला जनरेटिव एआई. इसके लिए, LiteRT-LM का इस्तेमाल किया जाता है.
और पढ़ें

LiteRT-LM का इस्तेमाल क्यों करें?

क्रॉस-प्लैटफ़ॉर्म

Android, iOS, वेब, और डेस्कटॉप पर एलएलएम डिप्लॉय करें.
GPU और NPU ऐक्सेलरेटेड की मदद से परफ़ॉर्मेंस को बेहतर बनाएं.
लोकप्रिय एलएलएम के साथ-साथ मल्टी-मॉडल (विज़न, ऑडियो) और टूल इस्तेमाल करने की सुविधा.

वेबसाइट बनाना शुरू करना

Linux, MacOS, Windows, और Raspberry Pi पर हार्डवेयर की मदद से तेज़ी लाने की सुविधा के साथ Python API.
Python गाइड
नेटिव Android ऐप्लिकेशन और जेवीएम पर आधारित डेस्कटॉप टूल.
Android गाइड
iOS और macOS के साथ नेटिव इंटिग्रेशन, जिसमें Metal के लिए खास तौर पर सहायता उपलब्ध है. Swift API जल्द ही उपलब्ध होंगे.
C++ गाइड
x-platform C++ APIs .
C++ गाइड

ब्लॉग और एलान

LiteRT-LM का इस्तेमाल करके, पहनने योग्य डिवाइसों और ब्राउज़र पर आधारित प्लैटफ़ॉर्म पर, बड़े पैमाने पर भाषा मॉडल डिप्लॉय करें.
FunctionGemma को बेहतर बनाने और LiteRT-LM Tool Use API की मदद से, फ़ंक्शन कॉल करने की सुविधाओं को चालू करने का तरीका जानें.
एज लैंग्वेज मॉडल के लिए, आरएजी, मल्टीमॉडल, और फ़ंक्शन कॉलिंग के बारे में नई अहम जानकारी.

समुदाय में शामिल हों.

ओपन-सोर्स प्रोजेक्ट में योगदान दें, समस्याओं की शिकायत करें, और उदाहरण देखें.
GitHub पर देखें
पहले से बदले गए मॉडल डाउनलोड करें और चर्चा में शामिल हों.
Hugging Face पर देखें