এজ ডিভাইসে উচ্চ-পারফরম্যান্স সম্পন্ন ও ক্রস-প্ল্যাটফর্ম এলএলএম ডেপ্লয়মেন্ট প্রদানের জন্য ডিজাইন করা একটি প্রোডাকশন-রেডি, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক।

স্পটলাইট

জেমা ৪-এর মাধ্যমে অত্যাধুনিক এজেন্টিক দক্ষতাকে এজ-এ নিয়ে আসুন।

LiterRT-LM কেন?

অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং ডেস্কটপ জুড়ে এলএলএম স্থাপন করুন।
GPU এবং NPU ত্বরণের মাধ্যমে কর্মক্ষমতা সর্বাধিক করুন।
জনপ্রিয় LLM-এর পাশাপাশি মাল্টি-মোডালিটি (ভিশন, অডিও) এবং টুল ব্যবহারের জন্য সমর্থন।

নির্মাণ শুরু করুন

লিনাক্স, ম্যাকওএস, উইন্ডোজ এবং রাস্পবেরি পাই-তে হার্ডওয়্যার অ্যাক্সিলারেশন সহ পাইথন এপিআই।
নেটিভ অ্যান্ড্রয়েড অ্যাপ এবং JVM-ভিত্তিক ডেস্কটপ টুল।
বিশেষায়িত মেটাল সাপোর্ট সহ নেটিভ iOS এবং macOS ইন্টিগ্রেশন (Swift API গুলি শীঘ্রই আসছে)।
এক্স-প্ল্যাটফর্ম সি++ এপিআইসমূহ।

কমিউনিটিতে যোগদান করুন

ওপেন-সোর্স প্রকল্পে অবদান রাখুন, সমস্যা জানান এবং উদাহরণ দেখুন।
পূর্ব-রূপান্তরিত মডেলগুলি (জেমা, কুইন এবং আরও) ডাউনলোড করুন এবং আলোচনায় যোগ দিন।

ব্লগ এবং ঘোষণা

LiteRT-LM ব্যবহার করে চমৎকার পারফরম্যান্স ও বিস্তৃতি সহ অ্যাপের ভেতরে এবং আরও বিস্তৃত পরিসরের ডিভাইসে Gemma 4 স্থাপন করুন।
LiteRT-LM ব্যবহার করে পরিধানযোগ্য ডিভাইস এবং ব্রাউজার-ভিত্তিক প্ল্যাটফর্মে বৃহৎ পরিসরে ল্যাঙ্গুয়েজ মডেল স্থাপন করুন।
কীভাবে FunctionGemma-কে সূক্ষ্মভাবে সমন্বয় করা যায় এবং LiteRT-LM টুলের API ব্যবহার করে ফাংশন কল করার ক্ষমতা সক্রিয় করা যায়, তা জানুন।
এজ ল্যাঙ্গুয়েজ মডেলের জন্য RAG, মাল্টিমোডালিটি এবং ফাংশন কলিং বিষয়ে সর্বশেষ তথ্য।