यह प्रोडक्शन के लिए तैयार, ओपन-सोर्स इन्फ़्रेंस फ़्रेमवर्क है. इसे एज डिवाइसों पर, क्रॉस-प्लैटफ़ॉर्म एलएलएम डिप्लॉयमेंट की बेहतर परफ़ॉर्मेंस देने के लिए डिज़ाइन किया गया है.
खास जानकारी शुरू करें

स्पॉटलाइट

Gemma 4 की मदद से, एज डिवाइसों पर एजेंटिक स्किल की बेहतरीन सुविधाएं पाएं.
और पढ़ें

LiteRT-LM का इस्तेमाल क्यों करें?

क्रॉस-प्लैटफ़ॉर्म

Android, iOS, वेब, और डेस्कटॉप पर एलएलएम डिप्लॉय करें.
GPU और NPU ऐक्सेलरेटेड की मदद से परफ़ॉर्मेंस को बेहतर बनाएं.
लोकप्रिय एलएलएम के साथ-साथ मल्टी-मॉडल (विज़न, ऑडियो) और टूल इस्तेमाल करने की सुविधा.

वेबसाइट बनाना शुरू करना

Linux, MacOS, Windows, और Raspberry Pi पर हार्डवेयर की मदद से तेज़ी लाने की सुविधा के साथ Python API.
Python गाइड
नेटिव Android ऐप्लिकेशन और जेवीएम पर आधारित डेस्कटॉप टूल.
Android गाइड
iOS और macOS के साथ नेटिव इंटिग्रेशन, जिसमें Metal के लिए खास तौर पर सहायता उपलब्ध है. Swift API जल्द ही उपलब्ध होंगे.
C++ गाइड
x-platform C++ APIs .
C++ गाइड

समुदाय में शामिल हों.

ओपन-सोर्स प्रोजेक्ट में योगदान दें, समस्याओं की शिकायत करें, और उदाहरण देखें.
GitHub पर देखें
पहले से कन्वर्ट किए गए मॉडल (Gemma, Qwen वगैरह) डाउनलोड करें और चर्चा में शामिल हों.
Hugging Face पर देखें

ब्लॉग और एलान

LiteRT-LM का इस्तेमाल करके, ऐप्लिकेशन में Gemma 4 को डिप्लॉय करें. साथ ही, इसे ज़्यादा डिवाइसों पर उपलब्ध कराएं. इससे, ऐप्लिकेशन की परफ़ॉर्मेंस बेहतर होगी और इसकी पहुंच बढ़ेगी.
LiteRT-LM का इस्तेमाल करके, पहनने योग्य डिवाइसों और ब्राउज़र पर आधारित प्लैटफ़ॉर्म पर, बड़े पैमाने पर भाषा मॉडल डिप्लॉय करें.
FunctionGemma को बेहतर बनाने और LiteRT-LM Tool Use API की मदद से, फ़ंक्शन कॉल करने की सुविधाओं को चालू करने का तरीका जानें.
एज लैंग्वेज मॉडल के लिए, आरएजी, मल्टीमॉडल, और फ़ंक्शन कॉलिंग के बारे में नई अहम जानकारी.