LiterRT হল গুগলের অন-ডিভাইস ফ্রেমওয়ার্ক যা দক্ষ রূপান্তর, রানটাইম এবং অপ্টিমাইজেশন ব্যবহার করে এজ প্ল্যাটফর্মে উচ্চ-কার্যক্ষমতাসম্পন্ন ML এবং GenAI স্থাপনার জন্য ব্যবহৃত হয়।
LiteRT 2.x-এ রয়েছে সাম্প্রতিকতম রানটাইম API, CompiledModel API, যা ইন্টারপ্রেটার API (TensorFlow Lite API-এর মতো) উন্নত করে, বিশেষ করে হার্ডওয়্যার অ্যাক্সিলারেশন এবং অন-ডিভাইস ML এবং AI অ্যাপ্লিকেশনের জন্য সামগ্রিক কর্মক্ষমতার মাধ্যমে। CompiledModel APIটি বিটা রিলিজে রয়েছে এবং Kotlin এবং C++ উভয় ক্ষেত্রেই উপলব্ধ।
LiterRT-এর মূল বৈশিষ্ট্যগুলি
সমর্থিত মডেল
LiterRT Pytorch, TensorFlow, এবং JAX ফ্রেমওয়ার্ক থেকে .tflite বা .litertlm ফর্ম্যাটে স্ট্রিমলাইনড রূপান্তর সমর্থন করে।
LiterRT এর মাধ্যমে উন্নয়নকে সহজতর করুন
স্বয়ংক্রিয় অ্যাক্সিলারেটর নির্বাচন বনাম স্পষ্ট প্রতিনিধি তৈরি। সহজ NPU রানটাইম এবং মডেল বিতরণ। উন্নত কর্মক্ষমতার জন্য দক্ষ I/O বাফার হ্যান্ডলিং এবং অ্যাসিঙ্ক এক্সিকিউশন।
সেরা জিপিইউ পারফরম্যান্স
ML Drift দ্বারা চালিত, এখন GPUs API-তে ML এবং Generative AI উভয় মডেলকেই সমর্থন করে।
ইউনিফাইড NPU ত্বরণ
প্রধান চিপসেট সরবরাহকারীদের কাছ থেকে সরলীকৃত NPU অ্যাক্সেস ব্যবহার করে আপনার মডেলটিকে ত্বরান্বিত করুন।
LiterRT এর মাধ্যমে সরলীকৃত LLM সহায়তা
আপনি LiteRT-LM ব্যবহার করতে পারেন যা LiteRT দ্বারা চালিত। LiteRT-LM সর্বশেষ LLM এবং মাল্টি-মোডালিটি, সীমাবদ্ধ ডিকোডিং ইত্যাদির মতো দরকারী বৈশিষ্ট্যগুলিকে সমর্থন করে।
উন্নয়ন কর্মপ্রবাহ
LiterRT অ্যান্ড্রয়েড, iOS, ওয়েব, IoT এবং ডেস্কটপ/ল্যাপটপে সম্পূর্ণরূপে ডিভাইসে ইনফারেন্স চালায়। ডিভাইস নির্বিশেষে, নিম্নলিখিতটি সবচেয়ে সাধারণ ওয়ার্কফ্লো, আরও নির্দেশাবলীর লিঙ্ক সহ।
এমএল চ্যালেঞ্জের সবচেয়ে উপযুক্ত সমাধান চিহ্নিত করুন।
LiterRT ব্যবহারকারীদের মেশিন লার্নিং সমস্যা সমাধানের ক্ষেত্রে উচ্চ স্তরের নমনীয়তা এবং কাস্টমাইজেবিলিটি প্রদান করে, যা এটি এমন ব্যবহারকারীদের জন্য উপযুক্ত করে তোলে যাদের একটি নির্দিষ্ট মডেল বা বিশেষায়িত বাস্তবায়নের প্রয়োজন। প্লাগ-এন্ড-প্লে সমাধান খুঁজছেন এমন ব্যবহারকারীরা মিডিয়াপাইপ টাস্ক পছন্দ করতে পারেন, যা বস্তু সনাক্তকরণ, পাঠ্য শ্রেণিবিন্যাস এবং LLM অনুমানের মতো সাধারণ মেশিন লার্নিং কাজের জন্য প্রস্তুত সমাধান প্রদান করে।
মডেলটি সংগ্রহ এবং প্রস্তুত করা
একটি LiterRT মডেল FlatBuffers নামে পরিচিত একটি দক্ষ পোর্টেবল ফর্ম্যাটে উপস্থাপিত হয়, যা .tflite ফাইল এক্সটেনশন ব্যবহার করে।
আপনি নিম্নলিখিত উপায়ে একটি LiterRT মডেল পেতে পারেন:
একটি পূর্ব-প্রশিক্ষিত মডেল পান: জনপ্রিয় ML ওয়ার্কলোড যেমন ইমেজ সেগমেন্টেশন, অবজেক্ট ডিটেকশন ইত্যাদির জন্য।
সবচেয়ে সহজ পদ্ধতি হল
.tfliteফর্ম্যাটে থাকা LiterRT মডেল ব্যবহার করা। এই মডেলগুলির জন্য কোনও অতিরিক্ত রূপান্তর পদক্ষেপের প্রয়োজন হয় না।মডেল টাইপ প্রাক-প্রশিক্ষিত মডেল উৎস ক্লাসিক্যাল এমএল
(.tfliteফর্ম্যাট)Kaggle অথবা HuggingFace দেখুন
যেমন চিত্র বিভাজন মডেল এবং নমুনা অ্যাপজেনারেটিভ এআই
(.litertlmফর্ম্যাট)LiterRT আলিঙ্গন মুখ পৃষ্ঠা
যেমন জেমা পরিবারযদি আপনি পূর্ব-প্রশিক্ষিত মডেল ব্যবহার না করতে চান, তাহলে আপনার নির্বাচিত PyTorch, TensorFlow অথবা JAX মডেলটিকে LiterRT মডেলে রূপান্তর করুন । [PRO USER]
মডেল ফ্রেমওয়ার্ক নমুনা মডেল রূপান্তর টুল পাইটর্চ আলিঙ্গনকারী মুখ
টর্চভিশনলিংক টেনসরফ্লো কাগল মডেল
আলিঙ্গনকারী মুখলিংক জ্যাক্স আলিঙ্গনকারী মুখ লিংক জেনারেটিভ API [PRO USER] ব্যবহার করে আরও অপ্টিমাইজেশনের জন্য আপনার LLM লিখুন।
আমাদের জেনারেটিভ API লাইব্রেরি PyTorch-এ বিল্ট-ইন বিল্ডিং ব্লক প্রদান করে যা Gemma , TinyLlama এবং অন্যান্য ট্রান্সফরমার মডেলগুলি মোবাইল-বান্ধব অ্যাবস্ট্রাকশন ব্যবহার করে রচনা করে, যার মাধ্যমে আমরা আমাদের মোবাইল রানটাইম, LiteRT-তে রূপান্তর এবং পারফর্ম্যান্স এক্সিকিউশনের নিশ্চয়তা দিতে পারি। জেনারেটিভ API ডকুমেন্টেশন দেখুন।
কোয়ান্টাইজেশন [প্রো ব্যবহারকারী]
উন্নত ডেভেলপারদের জন্য AI Edge Quantizer হল রূপান্তরিত LiterRT মডেলের পরিমাণ নির্ধারণের একটি হাতিয়ার। এর লক্ষ্য হল উন্নত ব্যবহারকারীদের রিসোর্স ডিমান্ডিং মডেলগুলিতে (যেমন, GenAI মডেল) সর্বোত্তম কর্মক্ষমতা অর্জনের জন্য প্রচেষ্টা করা।
মেশিন লার্নিং মডেল এবং জেনারেটিভ এআই মডেলের জন্য Ai-Edge-Quantization ডকুমেন্টেশন দেখুন।
শুরু করার পূর্বশর্ত
- পাইথন ৩.১০-৩.১২
-
.tfliteমডেল ফাইল - সংশ্লিষ্ট প্ল্যাটফর্ম বিভাগে অতিরিক্ত বিবরণ পাওয়া যাবে
আপনার অ্যাপ অন এজ প্ল্যাটফর্মে মডেলটি একীভূত করুন
আপনি আপনার LiterRT মডেলগুলি অ্যান্ড্রয়েড, iOS, ওয়েব, IoT এবং ডেস্কটপ ডিভাইসগুলিতে সম্পূর্ণরূপে ডিভাইসে ইনফারেন্স চালানোর জন্য বাস্তবায়ন করতে পারেন। LiterT-তে Python , Java এবং Kotlin-এর জন্য API, iOS-এর জন্য Swift এবং মাইক্রো-ডিভাইসের জন্য C++ রয়েছে।
আপনার পছন্দের প্ল্যাটফর্মে একটি LiterRT মডেল বাস্তবায়নের জন্য নিম্নলিখিত নির্দেশিকাগুলি ব্যবহার করুন:
| মডেল ফ্রেমওয়ার্ক | নমুনা মডেল | রূপান্তর টুল |
|---|---|---|
| অ্যান্ড্রয়েডে চালান | অ্যান্ড্রয়েড মোবাইল ডিভাইস | C++/Kotlin API গুলি |
| iOS-এ চালান | iOS মোবাইল ডিভাইস | সি++/সুইফট* এপিআই |
| LiteRT.js ব্যবহার করে ওয়েবে চালান | Chrome, Firefox, অথবা Safari সহ ডিভাইস | জাভাস্ক্রিপ্ট এপিআই |
| মাইক্রোতে চালান | এমবেডেড ডিভাইস | সি++ এপিআই |
*শীঘ্রই আসছে
কোটলিন কোড উদাহরণ
// Load model and initialize runtime
val compiledModel = CompiledModel.create("/path/to/mymodel.tflite", CompiledModel.Options(Accelerator.CPU))
// Prepare I/O buffers and fill in the data
val inputBuffers = compiledModel.createInputBuffers()
inputBuffers.get(0).writeFloat(input0)
inputBuffers.get(1).writeFloat(input1)
val outputBuffers = compiledModel.createOutputBuffers()
// Execute model
compiledModel.run(inputBuffers, outputBuffers)
// Access model output
val output = outputBuffers.get(0).readFloat()
inputBuffers.forEach { it.close() }
outputBuffers.forEach { it.close() }
compiledModel.close()
C++ কোডের উদাহরণ
LITERT_ASSIGN_OR_RETURN(auto env, GetEnvironment());
LITERT_ASSIGN_OR_RETURN(auto options, GetOptions());
LITERT_ASSIGN_OR_RETURN(
auto compiled_model,
CompiledModel::Create(env, "/path/to/mymodel.tflite", options));
LITERT_ASSIGN_OR_RETURN(auto input_buffers,compiled_model.CreateInputBuffers(signature_index));
LITERT_ASSIGN_OR_RETURN(auto output_buffers,compiled_model.CreateOutputBuffers(signature_index));
LITERT_ABORT_IF_ERROR(input_buffers[0].Write(input0));
LITERT_ABORT_IF_ERROR(input_buffers[1].Write(input1));
LITERT_ABORT_IF_ERROR(compiled_model.Run(signature_index, input_buffers, output_buffers));
LITERT_ABORT_IF_ERROR(output_buffers[0].Read(output0));
একটি ব্যাকএন্ড বেছে নিন
LiterRT-তে ব্যাকএন্ড অন্তর্ভুক্ত করার সবচেয়ে সহজ উপায় হল রানটাইমের অন্তর্নির্মিত বুদ্ধিমত্তার উপর নির্ভর করা। সর্বশেষ পরিবর্তনগুলির সাথে, LiterRT সেটআপটিকে উল্লেখযোগ্যভাবে সহজ করে তোলে, যার ফলে লক্ষ্য ব্যাকএন্ডকে একটি বিকল্প হিসাবে নির্দিষ্ট করা সম্ভব হয়।
LiteRT v2.x এর মূল হলো CompiledModel অবজেক্ট। যখন আপনি একটি মডেল লোড করেন, তখন LiteRT ম্যানুয়াল কনফিগারেশন ছাড়াই সর্বোত্তম ব্যাকএন্ড নির্বাচন করতে সিস্টেমের উপলব্ধ হার্ডওয়্যার এবং অভ্যন্তরীণ অগ্রাধিকার যুক্তি ব্যবহার করে। আরও বিস্তারিত জানার জন্য ব্যাকএন্ড দেখুন ।
| অ্যান্ড্রয়েড | ডেস্কটপ | ওয়েব | আইওএস | ম্যাকওএস | আইওটি | |
|---|---|---|---|---|---|---|
| সিপিইউ | XNNPack সম্পর্কে | XNNPack সম্পর্কে | XNNPack সম্পর্কে | XNNPack সম্পর্কে | XNNPack সম্পর্কে | XNNPack সম্পর্কে |
| জিপিইউ | ওয়েবজিপিইউ ওপেনসিএল | ওয়েবজিপিইউ ওপেনসিএল | ওয়েবজিপিইউ | ওয়েবজিপিইউ ধাতু | ওয়েবজিপিইউ ধাতু | ওয়েবজিপিইউ |
| এনপিইউ | মিডিয়াটেক কোয়ালকম | - | - | - | - | - |
অতিরিক্ত ডকুমেন্টেশন এবং সহায়তা
LiterRT v2.x নমুনা অ্যাপ LiterRT চিত্র বিভাজন নমুনা অ্যাপ দেখুন
টেনসরফ্লো লাইটের বিদ্যমান ব্যবহারকারীদের জন্য মাইগ্রেশন গাইড দেখুন
অপস কভারেজ সামঞ্জস্যপূর্ণ অপারেটর
সমর্থিত LLM মডেল LiterRT আলিঙ্গন মুখ এবং Gen API - নমুনা
টুলস লিটারআরটি টুলস পৃষ্ঠা - পারফরম্যান্স, প্রোফাইলিং, ত্রুটি প্রতিবেদন ইত্যাদি।