LiterRT এর মাধ্যমে GenAI মডেল স্থাপন করুন

LiterRT মোবাইল, ডেস্কটপ এবং ওয়েব প্ল্যাটফর্ম জুড়ে জেনারেটিভ এআই মডেলগুলির জন্য উচ্চ-কার্যক্ষমতাসম্পন্ন স্থাপনা প্রদান করে। CPU, GPU এবং NPU থেকে হার্ডওয়্যার ত্বরণকে নির্বিঘ্নে কাজে লাগিয়ে, LiterT ডিভাইসে GenAI ইনফারেন্সের জন্য অত্যাধুনিক কর্মক্ষমতা প্রদান করে।

আপনি নিম্নলিখিত সমন্বিত প্রযুক্তি স্ট্যাক ব্যবহার করে জটিল GenAI মডেল স্থাপন করতে পারেন:

  • টর্চ জেনারেটিভ API : PyTorch GenAI মডেলগুলি রচনা এবং রূপান্তর করার জন্য AI Edge Torch লাইব্রেরির মধ্যে একটি পাইথন মডিউল। এটি অপ্টিমাইজড বিল্ডিং ব্লক সরবরাহ করে যা ডিভাইসগুলিতে উচ্চ-কার্যক্ষমতা সম্পাদন নিশ্চিত করে। আরও বিস্তারিত জানার জন্য Convert PyTorch GenAI মডেলগুলি দেখুন।

  • LiterRT-LM : LiterRT-এর উপরে নির্মিত একটি বিশেষ অর্কেস্ট্রেশন স্তর যা LLM-নির্দিষ্ট জটিলতাগুলি পরিচালনা করে, যেমন সেশন ক্লোনিং, kv-ক্যাশে ব্যবস্থাপনা, প্রম্পট ক্যাশিং/স্কোরিং, স্টেটফুল ইনফারেন্স। আরও বিস্তারিত জানার জন্য LiterRT-LM GitHub রেপো দেখুন।

  • LiterRT কনভার্টার এবং রানটাইম : একটি মৌলিক ইঞ্জিন যা দক্ষ মডেল রূপান্তর, রানটাইম এক্সিকিউশন এবং অপ্টিমাইজেশন প্রদান করে, CPU, GPU এবং NPU জুড়ে উন্নত হার্ডওয়্যার ত্বরণকে শক্তিশালী করে।

LiterRT GenAI মডেল চিড়িয়াখানা

LiterRT LiterRT Hugging Face Community- তে জনপ্রিয় ওপেন-ওয়েট মডেলগুলির ক্রমবর্ধমান সংগ্রহকে সমর্থন করে। এই মডেলগুলি পূর্বে রূপান্তরিত এবং তাৎক্ষণিক স্থাপনের জন্য টিউন করা হয়েছে, যা আপনাকে CPU, GPU এবং NPU-তে সর্বোচ্চ কর্মক্ষমতা অর্জন করতে সক্ষম করে।

বৈশিষ্ট্যযুক্ত অন্তর্দৃষ্টি