LiteRT নেক্সট আপনাকে পৃথকভাবে ভেন্ডর-নির্দিষ্ট কম্পাইলার, রানটাইম বা লাইব্রেরি নির্ভরতাগুলিতে নেভিগেট করতে বাধ্য না করে নিউরাল প্রসেসিং ইউনিট (NPUs) ব্যবহার করার জন্য একটি ইউনিফাইড ইন্টারফেস প্রদান করে। NPU ত্বরণের জন্য LiteRT Next ব্যবহার করা অনেক বিক্রেতা-নির্দিষ্ট বা ডিভাইস-নির্দিষ্ট জটিলতা এড়ায়, রিয়েল-টাইম এবং বড়-মডেলের অনুমানের জন্য কর্মক্ষমতা বাড়ায় এবং জিরো-কপি হার্ডওয়্যার বাফার ব্যবহারের মাধ্যমে মেমরি কপিগুলিকে কমিয়ে দেয়।
আপনি যদি ইতিমধ্যেই LiteRT NPU আর্লি অ্যাক্সেস প্রোগ্রামে নথিভুক্ত হয়ে থাকেন, তাহলে NPU ডকুমেন্টেশন দেখতে অনুমোদিত অ্যাকাউন্টে সাইন ইন করুন। আপনি যদি নথিভুক্ত না হয়ে থাকেন, তাহলে প্রারম্ভিক অ্যাক্সেস প্রোগ্রামে সাইন আপ করুন:
লার্জ ল্যাঙ্গুয়েজ মডেলের (LLMs) জন্য , আমরা NPU নির্বাহের জন্য প্রয়োজনীয় এন্ড-টু-এন্ড প্রসেসিং পরিচালনা করতে আমাদের LiteRT-LM ফ্রেমওয়ার্ক ব্যবহার করার পরামর্শ দিই:
[[["সহজে বোঝা যায়","easyToUnderstand","thumb-up"],["আমার সমস্যার সমাধান হয়েছে","solvedMyProblem","thumb-up"],["অন্যান্য","otherUp","thumb-up"]],[["এতে আমার প্রয়োজনীয় তথ্য নেই","missingTheInformationINeed","thumb-down"],["খুব জটিল / অনেক ধাপ","tooComplicatedTooManySteps","thumb-down"],["পুরনো","outOfDate","thumb-down"],["অনুবাদ সংক্রান্ত সমস্যা","translationIssue","thumb-down"],["নমুনা / কোড সংক্রান্ত সমস্যা","samplesCodeIssue","thumb-down"],["অন্যান্য","otherDown","thumb-down"]],["2025-09-03 UTC-তে শেষবার আপডেট করা হয়েছে।"],[],[],null,["# NPU acceleration with LiteRT Next\n\n| **Note:** LiteRT NPU acceleration is only available through an Early Access Program. If you are not already enrolled, [Sign Up](https://forms.gle/CoH4jpLwxiEYvDvF6).\n\nLiteRT Next provides a unified interface to use Neural Processing Units (NPUs)\nwithout forcing you to individually navigate vendor-specific compilers,\nruntimes, or library dependencies. Using LiteRT Next for NPU acceleration avoids\nmany vendor-specific or device-specific complications, boosts performance for\nreal-time and large-model inference, and minimizes memory copies through\nzero-copy hardware buffer usage.\n\nIf you are already, enrolled in the LiteRT NPU Early Access Program, sign in to\nthe authorized account to view the NPU documentation. If you have not enrolled,\nsign up to the Early Access Program:\n\n[Sign\nup!arrow_forward](https://forms.gle/CoH4jpLwxiEYvDvF6)\n| **Confidential:** The following sections are confidential. Do not share or discuss unless authorized to do so.\n\nGet Started\n-----------\n\nTo get started, see the NPU overview guide:\n\n- **For classical ML models** , proceed directly with the core framework:\n - [NPU acceleration with LiteRT Next](./eap/npu)\n- **For Large Language Models (LLMs)** , we recommend using our [LiteRT-LM](https://github.com/google-ai-edge/LiteRT-LM) framework to handle the required end-to-end processing for NPU execution:\n - [NPU acceleration with LiteRT-LM](./eap/litert_lm_npu.md)\n\nFor example implementations of LiteRT Next with NPU support, refer to the\nfollowing demo applications:\n\n- [Image segmentation with Kotlin](https://github.com/google-ai-edge/LiteRT/tree/main/litert/samples/image_segmentation/kotlin_npu/)\n- [Asynchronous segmentation with C++](https://github.com/google-ai-edge/LiteRT/tree/main/litert/samples/async_segmentation)\n\nNPU Vendors\n-----------\n\nLiteRT Next supports NPU acceleration with the following vendors:\n\n- [Qualcomm AI Engine Direct](./eap/qualcomm)\n- [MediaTek NeuroPilot](./eap/mediatek)"]]
