LiteRT ওভারভিউ

LiteRT (লাইট রানটাইমের সংক্ষিপ্ত রূপ), যা পূর্বে TensorFlow Lite নামে পরিচিত ছিল, এটি হল অন-ডিভাইস AI-এর জন্য Google-এর উচ্চ-কার্যক্ষমতা সম্পন্ন রানটাইম। আপনি বিস্তৃত পরিসরের ML/AI কাজের জন্য চালানোর জন্য প্রস্তুত LiteRT মডেলগুলি খুঁজে পেতে পারেন, অথবা AI Edge রূপান্তর এবং অপ্টিমাইজেশন সরঞ্জামগুলি ব্যবহার করে TensorFlow, PyTorch এবং JAX মডেলগুলিকে TFLite ফর্ম্যাটে রূপান্তর এবং চালাতে পারেন।

মূল বৈশিষ্ট্য

ডিভাইসে মেশিন লার্নিংয়ের জন্য অপ্টিমাইজ করা : LiterRT পাঁচটি মূল ODML সীমাবদ্ধতা মোকাবেলা করে: ল্যাটেন্সি (সার্ভারে কোনও রাউন্ড-ট্রিপ নেই), গোপনীয়তা (ডিভাইসে কোনও ব্যক্তিগত ডেটা নেই), সংযোগ (ইন্টারনেট সংযোগের প্রয়োজন নেই), আকার (হ্রাসপ্রাপ্ত মডেল এবং বাইনারি আকার) এবং বিদ্যুৎ খরচ (দক্ষ অনুমান এবং নেটওয়ার্ক সংযোগের অভাব)।
মাল্টি-প্ল্যাটফর্ম সাপোর্ট : অ্যান্ড্রয়েড এবং iOS ডিভাইস, এমবেডেড লিনাক্স এবং মাইক্রোকন্ট্রোলারের সাথে সামঞ্জস্যপূর্ণ।
মাল্টি-ফ্রেমওয়ার্ক মডেল অপশন : AI Edge PyTorch এবং TensorFlow মডেল থেকে FlatBuffers ফর্ম্যাটে ( .tflite ) রূপান্তর করার জন্য টুল সরবরাহ করে, যা আপনাকে LiteRT-তে বিস্তৃত পরিসরের অত্যাধুনিক মডেল ব্যবহার করতে সক্ষম করে। আপনার কাছে মডেল অপ্টিমাইজেশন টুলগুলিতেও অ্যাক্সেস রয়েছে যা কোয়ান্টাইজেশন এবং মেটাডেটা পরিচালনা করতে পারে।
বিভিন্ন ভাষা সমর্থন : জাভা/কোটলিন, সুইফট, অবজেক্টিভ-সি, সি++ এবং পাইথনের জন্য SDK অন্তর্ভুক্ত।
উচ্চ কর্মক্ষমতা : GPU এবং iOS Core ML এর মতো বিশেষায়িত ডেলিগেটের মাধ্যমে হার্ডওয়্যার ত্বরণ ।

উন্নয়ন কর্মপ্রবাহ

LiterRT ডেভেলপমেন্ট ওয়ার্কফ্লোতে একটি ML/AI সমস্যা চিহ্নিত করা, সেই সমস্যার সমাধান করে এমন একটি মডেল নির্বাচন করা এবং ডিভাইসে মডেলটি বাস্তবায়ন করা অন্তর্ভুক্ত। নিম্নলিখিত ধাপগুলি আপনাকে কর্মপ্রবাহের মধ্য দিয়ে নিয়ে যাবে এবং আরও নির্দেশাবলীর লিঙ্ক প্রদান করবে।

১. এমএল সমস্যার সবচেয়ে উপযুক্ত সমাধান চিহ্নিত করুন।

LiterRT ব্যবহারকারীদের মেশিন লার্নিং সমস্যা সমাধানের ক্ষেত্রে উচ্চ স্তরের নমনীয়তা এবং কাস্টমাইজেবিলিটি প্রদান করে, যা এটি এমন ব্যবহারকারীদের জন্য উপযুক্ত করে তোলে যাদের একটি নির্দিষ্ট মডেল বা বিশেষায়িত বাস্তবায়নের প্রয়োজন। প্লাগ-এন্ড-প্লে সমাধান খুঁজছেন এমন ব্যবহারকারীরা মিডিয়াপাইপ টাস্ক পছন্দ করতে পারেন, যা বস্তু সনাক্তকরণ, পাঠ্য শ্রেণিবিন্যাস এবং LLM অনুমানের মতো সাধারণ মেশিন লার্নিং কাজের জন্য প্রস্তুত সমাধান প্রদান করে।

নিম্নলিখিত AI Edge ফ্রেমওয়ার্কগুলির মধ্যে একটি বেছে নিন:

LiterRT : নমনীয় এবং কাস্টমাইজযোগ্য রানটাইম যা বিভিন্ন ধরণের মডেল চালাতে পারে। আপনার ব্যবহারের জন্য একটি মডেল বেছে নিন, এটিকে LiterRT ফর্ম্যাটে রূপান্তর করুন (যদি প্রয়োজন হয়), এবং এটি ডিভাইসে চালান। যদি আপনি LiterRT ব্যবহার করতে চান, তাহলে পড়তে থাকুন।
মিডিয়াপাইপ টাস্ক : ডিফল্ট মডেলের প্লাগ-এন্ড-প্লে সলিউশন ব্যবহার করুন যা কাস্টমাইজেশনের সুবিধা দেয়। আপনার AI/ML সমস্যার সমাধান করে এমন টাস্ক বেছে নিন এবং এটি একাধিক প্ল্যাটফর্মে বাস্তবায়ন করুন। যদি আপনি মিডিয়াপাইপ টাস্ক ব্যবহার করতে চান, তাহলে মিডিয়াপাইপ টাস্ক ডকুমেন্টেশন দেখুন।

2. একটি মডেল নির্বাচন করুন

একটি LiterRT মডেল FlatBuffers নামে পরিচিত একটি দক্ষ পোর্টেবল ফর্ম্যাটে উপস্থাপিত হয়, যা .tflite ফাইল এক্সটেনশন ব্যবহার করে।

আপনি নিম্নলিখিত উপায়ে একটি LiterRT মডেল ব্যবহার করতে পারেন:

একটি বিদ্যমান LiterRT মডেল ব্যবহার করুন: সবচেয়ে সহজ পদ্ধতি হল .tflite ফর্ম্যাটে থাকা একটি LiterRT মডেল ব্যবহার করা। এই মডেলগুলির জন্য কোনও অতিরিক্ত রূপান্তর পদক্ষেপের প্রয়োজন হয় না। আপনি Kaggle Models- এ LiterRT মডেলগুলি খুঁজে পেতে পারেন।
একটি মডেলকে Litert মডেলে রূপান্তর করুন: আপনি PyTorch কনভার্টার বা TensorFlow কনভার্টার ব্যবহার করে মডেলগুলিকে FlatBuffers ফর্ম্যাটে ( .tflite ) রূপান্তর করতে পারেন এবং Litert তে চালাতে পারেন। শুরু করার জন্য, আপনি নিম্নলিখিত সাইটগুলিতে মডেলগুলি খুঁজে পেতে পারেন:
- হাগিং ফেস এবং torchvision পাইটর্চ মডেল
- ক্যাগল মডেল এবং আলিঙ্গন মুখের উপর টেনসরফ্লো মডেল

একটি LiterRT মডেল ঐচ্ছিকভাবে এমন মেটাডেটা অন্তর্ভুক্ত করতে পারে যার মধ্যে মানব-পঠনযোগ্য মডেলের বিবরণ এবং মেশিন-পঠনযোগ্য ডেটা থাকে যা ডিভাইসে অনুমানের সময় প্রাক- এবং পোস্ট-প্রসেসিং পাইপলাইনগুলির স্বয়ংক্রিয় প্রজন্মের জন্য থাকে। আরও বিস্তারিত জানার জন্য মেটাডেটা যোগ করুন দেখুন।

৩. আপনার অ্যাপে মডেলটি একীভূত করুন

আপনি আপনার LiterRT মডেলগুলি ওয়েব, এমবেডেড এবং মোবাইল ডিভাইসে সম্পূর্ণরূপে ডিভাইসে ইনফারেন্স চালানোর জন্য বাস্তবায়ন করতে পারেন। LiterRT-তে Python , Java এবং Kotlin-এর জন্য API, Android-এর জন্য Swift এবং মাইক্রো-ডিভাইসের জন্য C++ রয়েছে।

আপনার পছন্দের প্ল্যাটফর্মে একটি LiterRT মডেল বাস্তবায়নের জন্য নিম্নলিখিত নির্দেশিকাগুলি ব্যবহার করুন:

অ্যান্ড্রয়েডে চালান : জাভা/কোটলিন এপিআই ব্যবহার করে অ্যান্ড্রয়েড ডিভাইসে মডেল চালান।
iOS-এ চালান : Swift API ব্যবহার করে iOS ডিভাইসে মডেল চালান।
মাইক্রোতে চালান : C++ API ব্যবহার করে এমবেডেড ডিভাইসে মডেল চালান।

অ্যান্ড্রয়েড এবং iOS ডিভাইসে, আপনি হার্ডওয়্যার অ্যাক্সিলারেশন ব্যবহার করে কর্মক্ষমতা উন্নত করতে পারেন। উভয় প্ল্যাটফর্মেই আপনি একটি GPU ডেলিগেট ব্যবহার করতে পারেন, এবং iOS এ আপনি Core ML ডেলিগেট ব্যবহার করতে পারেন। নতুন হার্ডওয়্যার অ্যাক্সিলারেটরের জন্য সমর্থন যোগ করতে, আপনি আপনার নিজস্ব ডেলিগেট সংজ্ঞায়িত করতে পারেন।

মডেলের ধরণের উপর ভিত্তি করে আপনি নিম্নলিখিত উপায়ে অনুমান চালাতে পারেন:

মেটাডেটা ছাড়া মডেল : LiterRT ইন্টারপ্রেটার API ব্যবহার করুন। জাভা, সুইফট, সি++, অবজেক্টিভ-সি এবং পাইথনের মতো একাধিক প্ল্যাটফর্ম এবং ভাষায় সমর্থিত।
মেটাডেটা সহ মডেল : আপনি Litert সাপোর্ট লাইব্রেরি দিয়ে কাস্টম ইনফারেন্স পাইপলাইন তৈরি করতে পারেন।

TF Lite থেকে মাইগ্রেট করুন

TF Lite লাইব্রেরি ব্যবহার করে এমন অ্যাপ্লিকেশনগুলি কাজ করতে থাকবে, তবে সমস্ত নতুন সক্রিয় ডেভেলপমেন্ট এবং আপডেটগুলি শুধুমাত্র LiteRT প্যাকেজগুলিতে অন্তর্ভুক্ত করা হবে। LiteRT API গুলিতে TF Lite API গুলির মতো একই পদ্ধতির নাম থাকে, তাই LiteRT এ স্থানান্তর করার জন্য বিস্তারিত কোড পরিবর্তনের প্রয়োজন হয় না।

আরও তথ্যের জন্য, মাইগ্রেশন নির্দেশিকাটি দেখুন।

পরবর্তী পদক্ষেপ

নতুন ব্যবহারকারীদের LiterRT কুইকস্টার্ট ব্যবহার শুরু করা উচিত। নির্দিষ্ট তথ্যের জন্য, নিম্নলিখিত বিভাগগুলি দেখুন:

মডেল রূপান্তর

প্ল্যাটফর্ম গাইড