LiteRT-LM के बारे में खास जानकारी

LiteRT-LM, प्रोडक्शन के लिए तैयार एक ओपन-सोर्स इन्फ़रेंस फ़्रेमवर्क है. इसे एज डिवाइसों पर, एलएलएम को क्रॉस-प्लैटफ़ॉर्म पर डिप्लॉय करने के लिए डिज़ाइन किया गया है. यह फ़्रेमवर्क, बेहतरीन परफ़ॉर्मेंस देता है.

• क्रॉस-प्लैटफ़ॉर्म पर काम करने की सुविधा: इसे Android, iOS, वेब, डेस्कटॉप, और IoT (जैसे, Raspberry Pi) पर चलाया जा सकता है.
• हार्डवेयर ऐक्सेलरेशन: अलग-अलग हार्डवेयर में, जीपीयू और एनपीयू ऐक्सेलरेटर का इस्तेमाल करके, बेहतरीन परफ़ॉर्मेंस और सिस्टम की स्थिरता पाएं.
• मल्टी-मॉडलिटी: ऐसे एलएलएम का इस्तेमाल करके बनाएं जिनमें विज़न और ऑडियो की सुविधा हो.
• टूल का इस्तेमाल: एजेंटिक वर्कफ़्लो के लिए, फ़ंक्शन कॉलिंग की सुविधा उपलब्ध है. साथ ही, बेहतर सटीक नतीजे पाने के लिए, डिकोडिंग को सीमित किया जा सकता है.
• कई मॉडल के साथ काम करने की सुविधा: Gemma, Llama, Phi-4, Qwen वगैरह को चलाया जा सकता है.

डिवाइस पर जेन एआई की सुविधा दिखाने वाला गैलरी ऐप्लिकेशन

Google AI Edge Gallery, एक ऐसा ऐप्लिकेशन है जो प्रयोग के तौर पर बनाया गया है. इसे डिवाइस पर जेनरेटिव एआई की सुविधाओं को दिखाने के लिए डिज़ाइन किया गया है. यह ऐप्लिकेशन, LiteRT-LM का इस्तेमाल करके पूरी तरह से ऑफ़लाइन काम करता है.

• Google Play: स्थानीय तौर पर, एलएलएम का इस्तेमाल उन Android डिवाइसों पर करें जो इस सुविधा के साथ काम करते हैं.
• App Store: अपने iOS डिवाइस पर, डिवाइस पर एआई की सुविधा का अनुभव करें.
• GitHub सोर्स: गैलरी ऐप्लिकेशन के लिए सोर्स कोड देखें, ताकि यह जाना जा सके कि अपने प्रोजेक्ट में LiteRT-LM को कैसे इंटिग्रेट किया जाए.

चुने गए मॉडल: Gemma-4-E2B

• मॉडल का साइज़: 2.58 जीबी

• ज़्यादा तकनीकी जानकारी, HuggingFace के मॉडल कार्ड में दी गई है

  प्लैटफ़ॉर्म (डिवाइस)	बैकएंड	पहले से जानकारी भरने की सुविधा (टोकन/सेकंड)	डिकोड करने की सुविधा (टोकन/सेकंड)	पहला टोकन जनरेट होने में लगने वाला समय (सेकंड)	सीपीयू की पीक मेमोरी (एमबी)
  Android (S26 Ultra)	सीपीयू	557	47	1.8	1733
  	जीपीयू	3808	52	0.3	676
  iOS (iPhone 17 Pro)	सीपीयू	532	25	1.9	607
  	जीपीयू	2878	56	0.3	1450
  Linux (Arm 2.3 और 2.8 GHz, NVIDIA GeForce RTX 4090)	सीपीयू	260	35	4	1628
  	जीपीयू	11234	143	0.1	913
  macOS (MacBook Pro M4)	सीपीयू	901	42	1.1	736
  	जीपीयू	7835	160	0.1	1623
  IoT (Raspberry Pi 5 16GB)	सीपीयू	133	8	7.8	1546

बनाना शुरू करें

यहां दिए गए स्निपेट में, LiteRT-LM सीएलआई के साथ-साथ Python, Kotlin, और C++ एपीआई का इस्तेमाल शुरू करने का तरीका बताया गया है.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

काम करने वाले बैकएंड और प्लैटफ़ॉर्म

काम करने वाले मॉडल

यहां दी गई टेबल में, LiteRT-LM के साथ काम करने वाले मॉडल की सूची दी गई है. परफ़ॉर्मेंस के बारे में ज़्यादा जानकारी और मॉडल कार्ड देखने के लिए, Hugging Face पर LiteRT कम्यूनिटी पर जाएं.

समस्याओं की रिपोर्ट करना

अगर आपको कोई गड़बड़ी मिलती है या किसी सुविधा के लिए अनुरोध करना है, तो LiteRT-LM GitHub पर जाकर, समस्याओं की रिपोर्ट करें.