LiteRT-LM দিয়ে ডিভাইসে LLM চালান
উৎপাদন-প্রস্তুত, ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্ক যা এজ ডিভাইসগুলিতে উচ্চ-কার্যক্ষমতাসম্পন্ন, ক্রস-প্ল্যাটফর্ম LLM স্থাপনার জন্য ডিজাইন করা হয়েছে।
LiterRT-LM কেন?
ক্রস-প্ল্যাটফর্ম
অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং ডেস্কটপ জুড়ে এলএলএম স্থাপন করুন।
হার্ডওয়্যার ত্বরান্বিত হয়েছে
GPU এবং NPU ত্বরণের মাধ্যমে কর্মক্ষমতা সর্বাধিক করুন।
বিস্তৃত GenAI ক্ষমতা
জনপ্রিয় LLM-এর পাশাপাশি মাল্টি-মোডালিটি (ভিশন, অডিও) এবং টুল ব্যবহারের জন্য সমর্থন।
সমর্থিত মডেল, সমর্থিত মডেল
এজ-এর জন্য অপ্টিমাইজ করা সর্বশেষ ওপেন মডেলগুলি চালান, যার মধ্যে রয়েছে Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4, এবং আরও অনেক কিছু।
কমিউনিটিতে যোগদান করুন
গিটহাব
সোর্স কোডে অবদান রাখুন, সমস্যাগুলি রিপোর্ট করুন এবং উদাহরণ দেখুন।
আলিঙ্গন মুখ
পূর্বে রূপান্তরিত মডেলগুলি ডাউনলোড করুন এবং আলোচনায় যোগ দিন।