LiteRT-LM की मदद से, डिवाइस पर एलएलएम चलाना
प्रोडक्शन के लिए तैयार, ओपन-सोर्स इन्फ़्रेंस फ़्रेमवर्क. इसे एज डिवाइसों पर, क्रॉस-प्लैटफ़ॉर्म एलएलएम डिप्लॉयमेंट की बेहतर परफ़ॉर्मेंस देने के लिए डिज़ाइन किया गया है
LiteRT-LM का इस्तेमाल क्यों करें?
क्रॉस-प्लैटफ़ॉर्म
Android, iOS, वेब, और डेस्कटॉप पर एलएलएम डिप्लॉय करें.
हार्डवेयर की मदद से तेज़ी लाने की सुविधा
GPU और NPU ऐक्सेलरेटेड की मदद से परफ़ॉर्मेंस को बेहतर बनाएं.
जेन एआई की कई सुविधाएं
लोकप्रिय एलएलएम के साथ-साथ मल्टी-मॉडल (विज़न, ऑडियो) और टूल इस्तेमाल करने की सुविधा.
काम करने वाले मॉडल
एज डिवाइसों के लिए ऑप्टिमाइज़ किए गए सबसे नए ओपन मॉडल इस्तेमाल करें. जैसे, Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 वगैरह.
वेबसाइट बनाना शुरू करना
समुदाय में शामिल हों.
GitHub
सोर्स कोड में योगदान दें, समस्याओं की शिकायत करें, और उदाहरण देखें.
गले लगाता चेहरा
पहले से बदले गए मॉडल डाउनलोड करें और चर्चा में शामिल हों.