LiterRT-LM ওভারভিউ

LiteRT-LM হলো একটি উৎপাদন-উপযোগী, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক, যা এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম LLM ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা হয়েছে।

• ক্রস-প্ল্যাটফর্ম সাপোর্ট: অ্যান্ড্রয়েড, আইওএস, ওয়েব, ডেস্কটপ এবং আইওটি (যেমন রাস্পবেরি পাই)-তে চালানো যায়।
• হার্ডওয়্যার অ্যাক্সিলারেশন: বিভিন্ন হার্ডওয়্যারে GPU এবং NPU অ্যাক্সিলারেটর ব্যবহার করে সর্বোচ্চ পারফরম্যান্স এবং সিস্টেমের স্থিতিশীলতা অর্জন করুন।
• বহুমুখী ব্যবহার: এমন এলএলএম (LLM) দিয়ে নির্মাণ করুন যেগুলিতে দৃষ্টি ও শ্রবণ সমর্থন রয়েছে।
• টুলের ব্যবহার: উন্নত নির্ভুলতার জন্য সীমাবদ্ধ ডিকোডিং সহ এজেন্টিক ওয়ার্কফ্লোতে ফাংশন কলিং সমর্থন।
• ব্যাপক মডেল সমর্থন: Gemma, Llama, Phi-4, Qwen এবং আরও অনেক কিছু চালান।

ডিভাইসে GenAI শোকেস

গুগল এআই এজ গ্যালারি হলো একটি পরীক্ষামূলক অ্যাপ, যা LiteRT-LM ব্যবহার করে সম্পূর্ণ অফলাইনে চালিত ডিভাইসের জেনারেটিভ এআই সক্ষমতা প্রদর্শনের জন্য ডিজাইন করা হয়েছে।

• গুগল প্লে : সমর্থিত অ্যান্ড্রয়েড ডিভাইসগুলিতে স্থানীয়ভাবে এলএলএম ব্যবহার করুন।
• অ্যাপ স্টোর : আপনার iOS ডিভাইসে অন-ডিভাইস এআই-এর অভিজ্ঞতা নিন।
• গিটহাব সোর্স : আপনার নিজের প্রোজেক্টে কীভাবে LiteRT-LM ইন্টিগ্রেট করবেন তা শিখতে গ্যালারি অ্যাপটির সোর্স কোড দেখুন।

বিশেষ মডেল: জেমা-৪-ই২বি

• মডেলের আকার: ২.৫৮ জিবি

• অতিরিক্ত প্রযুক্তিগত বিবরণ হাগিংফেস মডেল কার্ডে রয়েছে।

  প্ল্যাটফর্ম (ডিভাইস)	ব্যাকএন্ড	প্রিফিল (tk/s)	ডিকোড (tk/s)	প্রথম টোকেন পেতে সময় (সেকেন্ড)	সর্বোচ্চ সিপিইউ মেমরি (এমবি)
  অ্যান্ড্রয়েড (এস২৬ আল্ট্রা)	সিপিইউ	৫৫৭	৪৭	১.৮	১৭৩৩
  	জিপিইউ	৩৮০৮	৫২	০.৩	৬৭৬
  iOS (iPhone 17 Pro)	সিপিইউ	৫৩২	২৫	১.৯	৬০৭
  	জিপিইউ	২৮৭৮	৫৬	০.৩	১৪৫০
  লিনাক্স (আর্ম ২.৩ ও ২.৮ গিগাহার্টজ, এনভিডিয়া জিফোর্স আরটিএক্স ৪০৯০)	সিপিইউ	২৬০	৩৫	৪	১৬২৮
  	জিপিইউ	১১২৩৪	১৪৩	০.১	৯১৩
  ম্যাকওএস (ম্যাকবুক প্রো এম৪)	সিপিইউ	৯০১	৪২	১.১	৭৩৬
  	জিপিইউ	৭৮৩৫	১৬০	০.১	১৬২৩
  IoT (রাস্পবেরি পাই ৫ ১৬জিবি)	সিপিইউ	১৩৩	৮	৭.৮	১৫৪৬

নির্মাণ শুরু করুন

নিম্নলিখিত কোড স্নিপেটগুলিতে দেখানো হয়েছে কীভাবে LiteRT-LM CLI এবং সেইসাথে Python, Kotlin, ও C++ API-গুলি দিয়ে কাজ শুরু করতে হয়।

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

সমর্থিত ব্যাকএন্ড এবং প্ল্যাটফর্ম

সমর্থিত মডেল

নিচের সারণিতে LiteRT-LM দ্বারা সমর্থিত মডেলগুলির তালিকা দেওয়া হলো। আরও বিস্তারিত পারফরম্যান্স তথ্য এবং মডেল কার্ডের জন্য, Hugging Face-এর LiteRT কমিউনিটিতে যান।

সমস্যা রিপোর্ট করা

আপনি যদি কোনো বাগ খুঁজে পান বা কোনো ফিচারের অনুরোধ থাকে, তাহলে LiteRT-LM GitHub Issues- এ রিপোর্ট করুন।