LiterRT-LM ওভারভিউ

LiterRT-LM হল একটি উৎপাদন-প্রস্তুত, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক যা এজ ডিভাইসগুলিতে উচ্চ-কার্যক্ষমতাসম্পন্ন, ক্রস-প্ল্যাটফর্ম LLM স্থাপনা প্রদানের জন্য ডিজাইন করা হয়েছে।

মূল বৈশিষ্ট্য

• ক্রস-প্ল্যাটফর্ম সাপোর্ট: অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং ডেস্কটপে চালান।
• হার্ডওয়্যার ত্বরণ:
  • জিপিইউ: এমএল ড্রিফ্ট দ্বারা চালিত, এমএল এবং জেনারেটিভ এআই উভয় মডেলকেই সমর্থন করে।
  • NPU: Qualcomm এবং MediaTek চিপসেট (আর্লি অ্যাক্সেস) সহ ডিভাইসগুলিতে ত্বরিত অনুমান।
• মাল্টি-মোডালিটি: ভিশন এবং অডিও ইনপুট সাপোর্ট।
• টুল ব্যবহার: এজেন্টিক ওয়ার্কফ্লোর জন্য ফাংশন কলিং সাপোর্ট।
• ব্রড মডেল সাপোর্ট: Gemma, Llama, Phi-4, Qwen এবং আরও অনেক কিছু চালান।

সমর্থিত ব্যাকএন্ড এবং প্ল্যাটফর্ম

দ্রুত শুরু

প্রথমে এটি চেষ্টা করে দেখতে চান? সম্পূর্ণ সেটআপ শুরু করার আগে, আপনি ডেস্কটপের জন্য পূর্বে তৈরি বাইনারি অথবা মোবাইলের জন্য Google AI Edge Gallery অ্যাপ ব্যবহার করে LiteRT-LM তাৎক্ষণিকভাবে চালাতে পারেন।

মোবাইল অ্যাপস

গুগল এআই এজ গ্যালারি হল একটি ডেমো অ্যাপ যা LiterRT-LM দ্বারা চালিত অত্যাধুনিক জেনারেটিভ এআই মডেলের শক্তি সরাসরি আপনার হাতে তুলে দেয়।

• অ্যান্ড্রয়েড এআই এজ গ্যালারি অ্যাপ
• iOS AI Edge গ্যালারি অ্যাপ
• এআই এজ গ্যালারি গিটহাব

ডেস্কটপ সিএলআই

• ম্যাকওএস এআরএম৬৪
• লিনাক্স x86_64
• লিনাক্স ARM64
• উইন্ডোজ x86_64

lit বাইনারি ডাউনলোড করার পরে, বিকল্পগুলি দেখতে lit চালান।

আপনার প্ল্যাটফর্মটি বেছে নিন

সমর্থিত মডেল

নিম্নলিখিত সারণীতে LiteRT-LM দ্বারা সম্পূর্ণরূপে সমর্থিত এবং পরীক্ষিত মডেলগুলির একটি নমুনা দেখানো হয়েছে।

দ্রষ্টব্য: "চ্যাট রেডি" বলতে চ্যাটের জন্য টিউন করা মডেলগুলিকে বোঝায় (নির্দেশনা টিউনিং)। "বেস" মডেলগুলিকে প্রায়শই সর্বোত্তম চ্যাট পারফরম্যান্সের জন্য সূক্ষ্ম-টিউনিংয়ের প্রয়োজন হয় যদি না নির্দিষ্ট সমাপ্তির জন্য ব্যবহার করা হয়।

কর্মক্ষমতা

বিভিন্ন ডিভাইসে প্রতিটি মডেল চালানোর পারফরম্যান্স সংখ্যা নিচে দেওয়া হল। মনে রাখবেন যে বেঞ্চমার্কটি 1024 টোকেন প্রিফিল এবং 256 টোকেন ডিকোড (অ্যান্ড্রয়েড ডিভাইসে পারফরম্যান্স লক সহ) দিয়ে পরিমাপ করা হয়।

দ্রষ্টব্য: যখন কোনও নির্দিষ্ট ডিভাইসে কোনও নির্দিষ্ট মডেল প্রথমবার লোড করা হয়, তখন ওজন অপ্টিমাইজ করা হওয়ায় লোড হতে বেশি সময় লাগবে। ক্যাশিংয়ের কারণে পরবর্তী লোডগুলি দ্রুত হবে।

মডেল হোস্টিং এবং স্থাপনা

যখন কোনও মডেল "ওভার-দ্য-এয়ার" ডাউনলোড সীমা অতিক্রম করে (প্রায়শই প্রায় 1.5GB), তখন একটি রিমোট ফেচ কৌশল প্রয়োজন।

• ফায়ারবেস: অ্যান্ড্রয়েড এবং আইওএস- এ বড় ফাইল ডাউনলোড করার জন্য প্রস্তাবিত।
• HuggingFace API: HuggingFace API ব্যবহার করে সরাসরি মডেলগুলি আনুন।

সমস্যা রিপোর্ট করা

যদি আপনার কোন বাগের সম্মুখীন হন অথবা কোন ফিচারের অনুরোধ থাকে, তাহলে অনুগ্রহ করে LiteRT-LM GitHub সমস্যা পৃষ্ঠাটি ব্যবহার করুন।