এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম এলএলএম ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা একটি প্রোডাকশন-রেডি, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক।
ওভারভিউ শুরু করুন

স্পটলাইট

আমাদের সর্বশেষ ব্লগটি দেখুন এবং জানুন কীভাবে LiteRT-LM আপনার অন-ডিভাইস GenAI ডেপ্লয়মেন্টকে সুপারচার্জ করে এবং নতুন যুক্ত হওয়া Swift, JavaScript, ও Flutter API-এর সাহায্যে অবিশ্বাস্য গতি ও দক্ষতার সাথে Gemma 4-এর সম্পূর্ণ সম্ভাবনাকে উন্মোচন করে।
ব্লগপোস্ট ওভারভিউ

LiterRT-LM কেন?

ক্রস-প্ল্যাটফর্ম

অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং ডেস্কটপ জুড়ে এলএলএম স্থাপন করুন।
GPU এবং NPU ত্বরণের মাধ্যমে কর্মক্ষমতা সর্বাধিক করুন।
জনপ্রিয় LLM-এর পাশাপাশি মাল্টি-মোডালিটি (ভিশন, অডিও) এবং টুল ব্যবহারের জন্য সমর্থন।

নির্মাণ শুরু করুন

লিনাক্স, ম্যাকওএস, উইন্ডোজ এবং রাস্পবেরি পাই-তে হার্ডওয়্যার অ্যাক্সিলারেশন সহ পাইথন এপিআই।
পাইথন গাইড
নেটিভ অ্যান্ড্রয়েড অ্যাপ এবং JVM-ভিত্তিক ডেস্কটপ টুল।
অ্যান্ড্রয়েড গাইড
নেটিভ iOS (macOS শীঘ্রই আসছে) সুইফট এপিআই।
দ্রুত গাইড
ওয়েবজিপিইউ অ্যাক্সিলারেশন সহ ব্রাউজার-ভিত্তিক ওয়েব অ্যাপের জন্য জাভাস্ক্রিপ্ট এবং টাইপস্ক্রিপ্ট এপিআই।
ওয়েব গাইড
কমিউনিটি দ্বারা পরিচালিত flutter_gemma প্যাকেজটি ব্যবহার করে ক্রস-প্ল্যাটফর্ম ফ্লাটার অ্যাপ তৈরি করুন।
ফ্লাটার গাইড
এক্স-প্ল্যাটফর্ম সি++ এপিআইসমূহ।
সি++ গাইড
রূপান্তরিত LiteRT মডেল থেকে .litertlm ফাইল তৈরি করুন।
ফাইল বিল্ডার গাইড

কমিউনিটিতে যোগদান করুন

ওপেন-সোর্স প্রকল্পে অবদান রাখুন, সমস্যা জানান এবং উদাহরণ দেখুন।
GitHub এ দেখুন
পূর্ব-রূপান্তরিত মডেলগুলি (জেমা, কুইন এবং আরও) ডাউনলোড করুন এবং আলোচনায় যোগ দিন।
আলিঙ্গন মুখের উপর দেখুন

ব্লগ এবং ঘোষণা

মাল্টি-টোকেন প্রেডিকশন (MTP) ব্যবহার করে জেমা ৪-এর অন-ডিভাইস ইনফারেন্সকে সুপারচার্জ করুন

মোবাইল জিপিইউ-তে গুণমানের কোনো অবনতি ছাড়াই ২ গুণেরও বেশি দ্রুত ডিকোড স্পিড উপভোগ করুন।

জেমা ৪-এর মাধ্যমে অত্যাধুনিক এজেন্টিক দক্ষতাকে এজ-এ নিয়ে আসুন।

LiteRT-LM ব্যবহার করে চমৎকার পারফরম্যান্স ও বিস্তৃতি সহ অ্যাপের ভেতরে এবং আরও বিস্তৃত পরিসরের ডিভাইসে Gemma 4 স্থাপন করুন।
LiteRT-LM ব্যবহার করে পরিধানযোগ্য ডিভাইস এবং ব্রাউজার-ভিত্তিক প্ল্যাটফর্মে বৃহৎ পরিসরে ল্যাঙ্গুয়েজ মডেল স্থাপন করুন।
কীভাবে FunctionGemma-কে সূক্ষ্মভাবে সমন্বয় করা যায় এবং LiteRT-LM টুলের API ব্যবহার করে ফাংশন কল করার ক্ষমতা সক্রিয় করা যায়, তা জানুন।
এজ ল্যাঙ্গুয়েজ মডেলের জন্য RAG, মাল্টিমোডালিটি এবং ফাংশন কলিং বিষয়ে সর্বশেষ তথ্য।