LiterRT CompiledModel API ডিভাইসে ML ইনফারেন্সের জন্য আধুনিক মান উপস্থাপন করে, যা স্ট্রিমলাইনড হার্ডওয়্যার অ্যাক্সিলারেশন প্রদান করে যা Interpreter API-কে উল্লেখযোগ্যভাবে ছাড়িয়ে যায়। এই ইন্টারফেসটি একটি সমন্বিত ডেভেলপার অভিজ্ঞতা এবং সর্বাধিক হার্ডওয়্যার দক্ষতার জন্য ডিজাইন করা উন্নত বৈশিষ্ট্যগুলি প্রদান করে বিস্তৃত প্রান্ত প্ল্যাটফর্ম জুড়ে .tflite মডেলগুলির স্থাপনাকে সহজ করে তোলে।
কেন CompiledModel API বেছে নেবেন?
যদিও Interpreter API ব্যাকওয়ার্ড কম্প্যাটিবিলিটির জন্য উপলব্ধ থাকে, CompiledModel API হল এমন একটি জায়গা যেখানে নতুন পারফরম্যান্স এবং অ্যাক্সিলারেটর বৈশিষ্ট্যগুলিকে অগ্রাধিকার দেওয়া হয়। এই কারণগুলির জন্য এটি প্রস্তাবিত পছন্দ:
সেরা GPU ত্বরণ : মোবাইল, ওয়েব, ডেস্কটপ এবং IoT ডিভাইসগুলিতে নির্ভরযোগ্য GPU ইনফারেন্স প্রদানের জন্য অত্যাধুনিক GPU ত্বরণ লাইব্রেরি, ML Drift ব্যবহার করে। LiterRT এর সাথে GPU ত্বরণ দেখুন।
ইউনিফাইড এনপিইউ অ্যাক্সেস : গুগল টেনসর, কোয়ালকম, মিডিয়াটেকের মতো বিভিন্ন প্রদানকারীর এনপিইউ অ্যাক্সেস করার জন্য একটি একক, ধারাবাহিক ডেভেলপার অভিজ্ঞতা প্রদান করে, বিক্রেতা-নির্দিষ্ট কম্পাইলার এবং রানটাইম জটিলতা দূর করে। LiteRT এর সাথে এনপিইউ অ্যাক্সিলারেশন দেখুন।
স্বয়ংক্রিয় হার্ডওয়্যার নির্বাচন : উপলব্ধ হার্ডওয়্যার এবং অভ্যন্তরীণ অগ্রাধিকার যুক্তির উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে CPU, GPU এবং NPU এর মধ্যে সর্বোত্তম ব্যাকএন্ড নির্বাচন করে, ম্যানুয়াল ডেলিগেট কনফিগারেশনের প্রয়োজনীয়তা দূর করে।
অ্যাসিঙ্ক্রোনাস এক্সিকিউশন : OS-স্তরের প্রক্রিয়া (যেমন সিঙ্ক ফেন্স) ব্যবহার করে হার্ডওয়্যার অ্যাক্সিলারেটরগুলিকে CPU-কে জড়িত না করেই পূর্ববর্তী কাজগুলি সম্পন্ন করার পরে সরাসরি ট্রিগার করতে দেয়। এটি 2x পর্যন্ত ল্যাটেন্সি কমাতে পারে এবং একটি মসৃণ, আরও ইন্টারেক্টিভ AI অভিজ্ঞতা নিশ্চিত করতে পারে।
দক্ষ I/O বাফার ব্যবস্থাপনা : অ্যাক্সিলারেটরের মধ্যে উচ্চ-কার্যক্ষমতাসম্পন্ন ডেটা প্রবাহ পরিচালনা করার জন্য
TensorBufferAPI ব্যবহার করে। এর মধ্যে রয়েছেAHardwareBuffer, OpenCL এবং OpenGL জুড়ে শূন্য-কপি বাফার ইন্টারঅপ , যা প্রি-প্রসেসিং, ইনফারেন্স এবং পোস্ট-প্রসেসিং পর্যায়ের মধ্যে ব্যয়বহুল ডেটা কপি দূর করে।
সমর্থিত প্ল্যাটফর্মগুলি
LiterRT CompiledModel API অ্যান্ড্রয়েড, iOS, ওয়েব, IoT এবং ডেস্কটপ ডিভাইস জুড়ে উচ্চ-কার্যক্ষমতাসম্পন্ন অনুমান সমর্থন করে। প্ল্যাটফর্ম-নির্দিষ্ট নির্দেশিকা দেখুন।