LiterRT-LM ওভারভিউ

LiteRT-LM হলো একটি উৎপাদন-উপযোগী, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক, যা এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম LLM ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা হয়েছে।

• ক্রস-প্ল্যাটফর্ম সাপোর্ট: অ্যান্ড্রয়েড, আইওএস, ওয়েব, ডেস্কটপ এবং আইওটি (যেমন রাস্পবেরি পাই)-তে চালানো যায়।
• হার্ডওয়্যার অ্যাক্সিলারেশন: বিভিন্ন হার্ডওয়্যারে GPU এবং NPU অ্যাক্সিলারেটর ব্যবহার করে সর্বোচ্চ পারফরম্যান্স এবং সিস্টেমের স্থিতিশীলতা অর্জন করুন।
• বহুমুখী ব্যবহার: এমন এলএলএম (LLM) দিয়ে নির্মাণ করুন যেগুলিতে দৃষ্টি ও শ্রবণ সমর্থন রয়েছে।
• টুলের ব্যবহার: উন্নত নির্ভুলতার জন্য সীমাবদ্ধ ডিকোডিং সহ এজেন্টিক ওয়ার্কফ্লোতে ফাংশন কলিং সমর্থন।
• বহু মডেল সমর্থন: Gemma, Llama, Phi-4, Qwen এবং আরও অনেক কিছু চালান।

নতুন কী আছে ( v0.12.0 )

• সুইফট এপিআই : মেটাল জিপিইউ অ্যাক্সিলারেশন ব্যবহার করে আইওএস অ্যাপ্লিকেশনগুলিতে নেটিভভাবে LiteRT-LM ইন্টিগ্রেট করুন। সুইফট গাইড দেখুন।
• ওয়েব জাভাস্ক্রিপ্ট এপিআই : ওয়েব জিপিইউ/সিপিইউ ব্যবহার করে উচ্চ পারফরম্যান্সে ওয়েব ব্রাউজারের ভেতরে মডেল চালান। জাভাস্ক্রিপ্ট গাইড দেখুন।
• LiteRT-LM CLI / পাইথন এপিআই আপডেট : কমান্ড-লাইন ইন্টারফেস এবং পাইথন এপিআই এখন লিনাক্স, ম্যাকওএস এবং উইন্ডোজ জুড়ে সিপিইউ এবং জিপিইউ ব্যাকএন্ডের পাশাপাশি এনপিইউ সমর্থন করে। সিএলআই গাইড দেখুন।
• কমিউনিটি-পরিচালিত ফ্লাটার এপিআই : কমিউনিটির flutter_gemma প্যাকেজ ব্যবহার করে ক্রস-প্ল্যাটফর্ম ফ্লাটার অ্যাপ্লিকেশন তৈরি করুন। ফ্লাটার গাইড দেখুন।

ডিভাইসে GenAI শোকেস

গুগল এআই এজ গ্যালারি হলো একটি পরীক্ষামূলক অ্যাপ, যা LiteRT-LM ব্যবহার করে সম্পূর্ণ অফলাইনে চালিত ডিভাইসের জেনারেটিভ এআই সক্ষমতা প্রদর্শনের জন্য ডিজাইন করা হয়েছে।

• গুগল প্লে : সমর্থিত অ্যান্ড্রয়েড ডিভাইসগুলিতে স্থানীয়ভাবে এলএলএম ব্যবহার করুন।
• অ্যাপ স্টোর : আপনার iOS ডিভাইসে অন-ডিভাইস এআই-এর অভিজ্ঞতা নিন।
• গিটহাব সোর্স : আপনার নিজের প্রোজেক্টে কীভাবে LiteRT-LM ইন্টিগ্রেট করবেন তা শিখতে গ্যালারি অ্যাপটির সোর্স কোড দেখুন।

বিশেষ মডেল: জেমা-৪-ই২বি

• মডেলের আকার: ২.৫৮ জিবি

• অতিরিক্ত প্রযুক্তিগত বিবরণ হাগিংফেস মডেল কার্ডে রয়েছে।

  প্ল্যাটফর্ম (ডিভাইস)	ব্যাকএন্ড	প্রিফিল (tk/s)	ডিকোড (tk/s)	প্রথম টোকেন পেতে সময় (সেকেন্ড)	সর্বোচ্চ সিপিইউ মেমরি (এমবি)
  অ্যান্ড্রয়েড (এস২৬ আল্ট্রা)	সিপিইউ	৫৫৭	৪৭	১.৮	১৭৩৩
  	জিপিইউ	৩৮০৮	৫২	০.৩	৬৭৬
  iOS (iPhone 17 Pro)	সিপিইউ	৫৩২	২৫	১.৯	৬০৭
  	জিপিইউ	২৮৭৮	৫৬	০.৩	১৪৫০
  লিনাক্স (আর্ম ২.৩ ও ২.৮ গিগাহার্টজ, এনভিডিয়া জিফোর্স আরটিএক্স ৪০৯০)	সিপিইউ	২৬০	৩৫	৪	১৬২৮
  	জিপিইউ	১১২৩৪	১৪৩	০.১	৯১৩
  ম্যাকওএস (ম্যাকবুক প্রো এম৪)	সিপিইউ	৯০১	৪২	১.১	৭৩৬
  	জিপিইউ	৭৮৩৫	১৬০	০.১	১৬২৩
  উইন্ডোজ (ইন্টেল লুনারলেক)	সিপিইউ	৪৩৫	৩০	২.৪	৩৫০৫
  	জিপিইউ	৩৭৫১	৪৮	০.৩	৩৫৪০
  IoT (রাস্পবেরি পাই ৫ ১৬জিবি)	সিপিইউ	১৩৩	৮	৭.৮	১৫৪৬

নির্মাণ শুরু করুন

LiteRT-LM আপনাকে দ্রুত ডিভাইসে এআই অ্যাপ্লিকেশন তৈরি করতে সাহায্য করার জন্য বিভিন্ন প্রোগ্রামিং ভাষা এবং প্ল্যাটফর্মের এপিআই (API) প্রদান করে। শুরু করার জন্য নিচে থেকে একটি গাইড নির্বাচন করুন:

উৎস থেকে তৈরি করুন

আপনি যদি LiteRT-LM কাস্টমাইজ করতে চান বা কোনো নির্দিষ্ট হার্ডওয়্যার কনফিগারেশনের জন্য এটি বিল্ড করতে চান, তবে আপনি সরাসরি সোর্স কোড থেকে এটি কম্পাইল করতে পারেন। আপনার এনভায়রনমেন্ট সেট আপ করা এবং ফ্রেমওয়ার্কটি বিল্ড করার ধাপে ধাপে নির্দেশাবলীর জন্য, GitHub-এ থাকা LiteRT-LM Build and Run Guide-টি দেখুন।

সমর্থিত ব্যাকএন্ড এবং প্ল্যাটফর্ম

সমর্থিত মডেল

নিচের সারণিতে LiteRT-LM দ্বারা সমর্থিত মডেলগুলির তালিকা দেওয়া হলো। আরও বিস্তারিত পারফরম্যান্স তথ্য এবং মডেল কার্ডের জন্য, Hugging Face-এর LiteRT কমিউনিটিতে যান।

রিপোর্ট সমস্যা

আপনি যদি কোনো বাগ খুঁজে পান অথবা কোনো ফিচারের অনুরোধ থাকে, তাহলে LiteRT-LM GitHub Issues- এ রিপোর্ট করুন।