यह प्रोडक्शन के लिए तैयार, ओपन-सोर्स इन्फ़्रेंस फ़्रेमवर्क है. इसे एज डिवाइसों पर, क्रॉस-प्लैटफ़ॉर्म एलएलएम डिप्लॉयमेंट की बेहतर परफ़ॉर्मेंस देने के लिए डिज़ाइन किया गया है.
खास जानकारी शुरू करें

स्पॉटलाइट

मल्टी-टोकन प्रेडिक्शन (एमटीपी) की मदद से, डिवाइस पर मौजूद Gemma 4 की अनुमान लगाने की क्षमता को बेहतर बनाएं. मोबाइल जीपीयू पर, डिकोड करने की स्पीड दो गुना से ज़्यादा तेज़ हो जाती है. साथ ही, क्वालिटी में कोई गिरावट नहीं आती.
ब्लॉग पोस्ट मार्गदर्शिका

LiteRT-LM का इस्तेमाल क्यों करें?

क्रॉस-प्लैटफ़ॉर्म

Android, iOS, वेब, और डेस्कटॉप पर एलएलएम डिप्लॉय करें.
GPU और NPU ऐक्सेलरेटेड की मदद से परफ़ॉर्मेंस को बेहतर बनाएं.
लोकप्रिय एलएलएम के साथ-साथ मल्टी-मॉडल (विज़न, ऑडियो) और टूल इस्तेमाल करने की सुविधा.

वेबसाइट बनाना शुरू करना

Linux, MacOS, Windows, और Raspberry Pi पर हार्डवेयर की मदद से तेज़ी लाने की सुविधा के साथ Python API.
Python गाइड
नेटिव Android ऐप्लिकेशन और जेवीएम पर आधारित डेस्कटॉप टूल.
Android गाइड
नेटिव iOS (macOS के लिए जल्द उपलब्ध होगा) Swift API.
Swift गाइड
कम्यूनिटी की ओर से बनाए गए flutter_gemma पैकेज का इस्तेमाल करके, क्रॉस-प्लैटफ़ॉर्म Flutter ऐप्लिकेशन बनाएं.
Flutter गाइड
x-platform C++ APIs .
C++ गाइड
कन्वर्ट किए गए LiteRT मॉडल से .litertlm फ़ाइलें बनाएं.
File Builder गाइड

समुदाय में शामिल हों.

ओपन-सोर्स प्रोजेक्ट में योगदान दें, समस्याओं की शिकायत करें, और उदाहरण देखें.
GitHub पर देखें
पहले से कन्वर्ट किए गए मॉडल (Gemma, Qwen वगैरह) डाउनलोड करें और चर्चा में शामिल हों.
Hugging Face पर देखें

ब्लॉग और एलान

LiteRT-LM का इस्तेमाल करके, ऐप्लिकेशन में Gemma 4 को डिप्लॉय करें. साथ ही, इसे ज़्यादा डिवाइसों पर उपलब्ध कराएं. इससे, ऐप्लिकेशन की परफ़ॉर्मेंस बेहतर होगी और इसकी पहुंच बढ़ेगी.
LiteRT-LM का इस्तेमाल करके, पहनने योग्य डिवाइसों और ब्राउज़र पर आधारित प्लैटफ़ॉर्म पर, बड़े पैमाने पर भाषा मॉडल डिप्लॉय करें.
FunctionGemma को बेहतर बनाने और LiteRT-LM Tool Use API की मदद से, फ़ंक्शन कॉल करने की सुविधाओं को चालू करने का तरीका जानें.
एज लैंग्वेज मॉडल के लिए, आरएजी, मल्टीमॉडल, और फ़ंक्शन कॉलिंग के बारे में नई अहम जानकारी.