আধুনিক মোবাইল এবং এজ ডিভাইসগুলিতে বিশেষায়িত গ্রাফিক্স প্রসেসিং ইউনিট (GPU) এবং নিউরাল প্রসেসিং ইউনিট (NPU) রয়েছে যা CPU-এর তুলনায় AI মডেলগুলিকে 25 গুণ পর্যন্ত ত্বরান্বিত করতে সক্ষম, একই সাথে 5 গুণ পর্যন্ত বিদ্যুৎ খরচ কমাতে সক্ষম।
LiterRT একটি ইউনিফাইড হার্ডওয়্যার অ্যাক্সিলারেশন স্ট্যাকের মাধ্যমে এই বিশেষায়িত সিলিকনগুলিতে অ্যাক্সেস সহজ করে। খণ্ডিত, বিক্রেতা-নির্দিষ্ট SDK বা জটিল হার্ডওয়্যার API পরিচালনা করার পরিবর্তে, Litert একটি সুবিন্যস্ত CompiledModel API প্রদান করে যা মডেল অপ্টিমাইজেশন, মেমরি ব্যবস্থাপনা এবং হার্ডওয়্যার প্রেরণের জটিলতাকে বিমূর্ত করে।
অ্যাক্সিলারেটরের প্রকারভেদ
LiterRT বিভিন্ন হার্ডওয়্যার ব্যাকএন্ড জুড়ে মডেলগুলি কার্যকর করার জন্য একটি ইউনিফাইড ইন্টারফেস প্রদান করে। CompiledModel API ব্যবহার করে, আপনি অন-ডিভাইস বা Ahead-of-Time (AOT) সংকলন ব্যবহার করে এই অ্যাক্সিলারেটরগুলির মধ্যে নির্বিঘ্নে স্যুইচ করতে পারেন, অসমর্থিত ক্রিয়াকলাপগুলির জন্য CPU-তে স্বয়ংক্রিয় ফলব্যাক সহ।
- CPU: XNNPACK ব্যবহার করে ডিফল্ট এক্সিকিউশন পাথ এবং সর্বদা উপলব্ধ। সাধারণ কাজের জন্য দুর্দান্ত এবং অসমর্থিত অপারেটরদের জন্য ফলব্যাক।
- GPU: ML Drift দ্বারা চালিত, OpenCL, WebGPU, Metal, ইত্যাদি ব্যবহার করে বিভিন্ন প্রান্তিক প্ল্যাটফর্মে SOTA কর্মক্ষমতা প্রদান করে। আরও তথ্যের জন্য, LiterRT সহ GPU ত্বরণ দেখুন।
- NPU: AI ওয়ার্কলোডের জন্য সর্বোচ্চ দক্ষতা এবং কর্মক্ষমতা। LiteRT বিক্রেতা-নির্দিষ্ট SDK ইন্টিগ্রেশন ছাড়াই Google Tensor, Qualcomm এবং MediaTek সহ বিশেষায়িত NPU চিপসেটগুলি অ্যাক্সেস করার জন্য একটি সমন্বিত উন্নয়ন প্রবাহ অফার করে। আরও তথ্যের জন্য, LiteRT সহ NPU ত্বরণ দেখুন।
যখন কোনও হার্ডওয়্যারে কিছু জটিল অপারেশন উপলব্ধ না থাকে, তখন সর্বোত্তম পারফরম্যান্স পেতে এই অ্যাক্সিলারেটরগুলিকে একত্রিত করা যেতে পারে। যখন অ্যাক্সিলারেটরগুলি কোনও অপারেশনের উপর প্রতিযোগিতা করে, তখন LiteRT নিম্নলিখিত অগ্রাধিকারের ক্রম ব্যবহার করে: NPU, GPU, CPU ।