LiterRT ওভারভিউতে স্বাগতম

LiterRT হল গুগলের অন-ডিভাইস ফ্রেমওয়ার্ক যা দক্ষ রূপান্তর, রানটাইম এবং অপ্টিমাইজেশন ব্যবহার করে এজ প্ল্যাটফর্মে উচ্চ-কার্যক্ষমতাসম্পন্ন ML এবং GenAI স্থাপনার জন্য ব্যবহৃত হয়।

সর্বশেষ LiteRT 2.x রিলিজে CompiledModel API চালু করা হয়েছে, যা একটি আধুনিক রানটাইম ইন্টারফেস যা হার্ডওয়্যার ত্বরণ সর্বাধিক করার জন্য ডিজাইন করা হয়েছে। Interpreter API (পূর্বে TensorFlow Lite) ব্যাকওয়ার্ড সামঞ্জস্যের জন্য উপলব্ধ থাকলেও, CompiledModel API হল ডেভেলপারদের জন্য প্রস্তাবিত পছন্দ যারা অন-ডিভাইস AI অ্যাপ্লিকেশনগুলিতে অত্যাধুনিক কর্মক্ষমতা খুঁজছেন।

LiterRT-এর মূল বৈশিষ্ট্যগুলি

LiterRT এর মাধ্যমে উন্নয়নকে সহজতর করুন

স্বয়ংক্রিয় অ্যাক্সিলারেটর নির্বাচন বনাম স্পষ্ট প্রতিনিধি তৈরি। উন্নত কর্মক্ষমতার জন্য দক্ষ I/O বাফার হ্যান্ডলিং এবং অ্যাসিঙ্ক এক্সিকিউশন। অন-ডিভাইস ইনফারেন্স ডকুমেন্টেশন দেখুন।

সেরা জিপিইউ পারফরম্যান্স

ML Drift দ্বারা চালিত, এখন GPUs API-তে ML এবং Generative AI উভয় মডেলকেই সমর্থন করে। GPU ত্বরণ ডকুমেন্টেশন দেখুন।

ইউনিফাইড NPU ত্বরণ

প্রধান চিপসেট সরবরাহকারীদের কাছ থেকে সরলীকৃত NPU অ্যাক্সেস ব্যবহার করে আপনার মডেলটি ত্বরান্বিত করুন। NPU ত্বরণ ডকুমেন্টেশন দেখুন।

সুপিরিয়র এলএলএম সাপোর্ট

LiterRT মোবাইল, ডেস্কটপ এবং ওয়েব প্ল্যাটফর্ম জুড়ে জেনারেটিভ এআই মডেলগুলির জন্য উচ্চ-কার্যক্ষমতাসম্পন্ন স্থাপনা প্রদান করে। GenAI স্থাপনার ডকুমেন্টেশন দেখুন।

বিস্তৃত এমএল ফ্রেমওয়ার্ক সাপোর্ট

LiterRT PyTorch, TensorFlow, এবং JAX ফ্রেমওয়ার্ক থেকে .tflite বা .litertlm ফর্ম্যাটে স্ট্রিমলাইনড রূপান্তর সমর্থন করে। মডেল রূপান্তর ডকুমেন্টেশন দেখুন।

উন্নয়ন কর্মপ্রবাহ

LiterRT অ্যান্ড্রয়েড, iOS, ওয়েব, IoT এবং ডেস্কটপ/ল্যাপটপে সম্পূর্ণরূপে ডিভাইসে ইনফারেন্স চালায়। ডিভাইস নির্বিশেষে, নিম্নলিখিতটি সবচেয়ে সাধারণ ওয়ার্কফ্লো, আরও নির্দেশাবলীর লিঙ্ক সহ।

এমএল চ্যালেঞ্জের সবচেয়ে উপযুক্ত সমাধান চিহ্নিত করুন।

LiterRT ব্যবহারকারীদের মেশিন লার্নিং সমস্যা সমাধানের ক্ষেত্রে উচ্চ স্তরের নমনীয়তা এবং কাস্টমাইজেবিলিটি প্রদান করে, যা এটি এমন ব্যবহারকারীদের জন্য উপযুক্ত করে তোলে যাদের একটি নির্দিষ্ট মডেল বা বিশেষায়িত বাস্তবায়নের প্রয়োজন। প্লাগ-এন্ড-প্লে সমাধান খুঁজছেন এমন ব্যবহারকারীরা মিডিয়াপাইপ টাস্ক পছন্দ করতে পারেন, যা বস্তু সনাক্তকরণ, পাঠ্য শ্রেণিবিন্যাস এবং LLM অনুমানের মতো সাধারণ মেশিন লার্নিং কাজের জন্য প্রস্তুত সমাধান প্রদান করে।

মডেলটি সংগ্রহ এবং প্রস্তুত করা

একটি LiterRT মডেল FlatBuffers নামে পরিচিত একটি দক্ষ পোর্টেবল ফর্ম্যাটে উপস্থাপিত হয়, যা .tflite ফাইল এক্সটেনশন ব্যবহার করে।

আপনি নিম্নলিখিত উপায়ে একটি LiterRT মডেল পেতে পারেন:

• একটি পূর্ব-প্রশিক্ষিত মডেল পান: জনপ্রিয় ML ওয়ার্কলোড যেমন ইমেজ সেগমেন্টেশন, অবজেক্ট ডিটেকশন ইত্যাদির জন্য।

  সবচেয়ে সহজ পদ্ধতি হল .tflite ফর্ম্যাটে থাকা LiterRT মডেল ব্যবহার করা। এই মডেলগুলির জন্য কোনও অতিরিক্ত রূপান্তর পদক্ষেপের প্রয়োজন হয় না।

  মডেল টাইপ	প্রাক-প্রশিক্ষিত মডেল উৎস
  ক্লাসিক্যাল এমএল ( .tflite ফর্ম্যাট)	Kaggle অথবা HuggingFace দেখুন যেমন চিত্র বিভাজন মডেল এবং নমুনা অ্যাপ
  জেনারেটিভ এআই ( .litertlm ফর্ম্যাট)	LiterRT আলিঙ্গন মুখ পৃষ্ঠা যেমন জেমা পরিবার

• যদি আপনি পূর্ব-প্রশিক্ষিত মডেল ব্যবহার না করতে চান, তাহলে আপনার নির্বাচিত PyTorch, TensorFlow অথবা JAX মডেলটিকে LiterRT মডেলে রূপান্তর করুন । [PRO USER]

  মডেল ফ্রেমওয়ার্ক	নমুনা মডেল	রূপান্তর টুল
  পাইটর্চ	আলিঙ্গনকারী মুখ টর্চভিশন	লিংক
  টেনসরফ্লো	কাগল মডেল আলিঙ্গনকারী মুখ	লিংক
  জ্যাক্স	আলিঙ্গনকারী মুখ	লিংক

• জেনারেটিভ API [PRO USER] ব্যবহার করে আরও অপ্টিমাইজেশনের জন্য আপনার LLM লিখুন।

  আমাদের জেনারেটিভ API লাইব্রেরি PyTorch-এ বিল্ট-ইন বিল্ডিং ব্লক প্রদান করে যা Gemma , TinyLlama এবং অন্যান্য ট্রান্সফরমার মডেলগুলি মোবাইল-বান্ধব অ্যাবস্ট্রাকশন ব্যবহার করে রচনা করে, যার মাধ্যমে আমরা আমাদের মোবাইল রানটাইম, LiteRT-তে রূপান্তর এবং পারফর্ম্যান্স এক্সিকিউশনের নিশ্চয়তা দিতে পারি। জেনারেটিভ API ডকুমেন্টেশন দেখুন।

কোয়ান্টাইজেশন [প্রো ব্যবহারকারী]

উন্নত ডেভেলপারদের জন্য AI Edge Quantizer হল রূপান্তরিত LiterRT মডেলের পরিমাণ নির্ধারণের একটি হাতিয়ার। এর লক্ষ্য হল উন্নত ব্যবহারকারীদের রিসোর্স ডিমান্ডিং মডেলগুলিতে (যেমন, GenAI মডেল) সর্বোত্তম কর্মক্ষমতা অর্জনের জন্য প্রচেষ্টা করা।

এআই এজ কোয়ান্টিজার ডকুমেন্টেশন থেকে আরও বিস্তারিত দেখুন।

আপনার অ্যাপ অন এজ প্ল্যাটফর্মে মডেলটি একীভূত করুন

LiterRT আপনাকে Android, iOS, ওয়েব, ডেস্কটপ এবং IoT প্ল্যাটফর্ম জুড়ে উচ্চ কর্মক্ষমতা সহ সম্পূর্ণরূপে ডিভাইসে ML মডেলগুলি চালাতে দেয়।

আপনার পছন্দের প্ল্যাটফর্মে একটি LiterRT মডেল সংহত করতে নিম্নলিখিত নির্দেশিকাগুলি ব্যবহার করুন:

নিম্নলিখিত কোড স্নিপেটগুলি কোটলিন এবং সি++ এ একটি মৌলিক বাস্তবায়ন দেখায়।

// Load model and initialize runtime
val compiledModel = CompiledModel.create(
    "/path/to/mymodel.tflite",
    CompiledModel.Options(Accelerator.CPU))

// Preallocate input/output buffers
val inputBuffers = compiledModel.createInputBuffers()
val outputBuffers = compiledModel.createOutputBuffers()

// Fill the input buffer
inputBuffers.get(0).writeFloat(input0)
inputBuffers.get(1).writeFloat(input1)

// Invoke
compiledModel.run(inputBuffers, outputBuffers)

// Read the output
val output = outputBuffers.get(0).readFloat()

// Load model and initialize runtime
LITERT_ASSIGN_OR_RETURN(auto env, GetEnvironment());
LITERT_ASSIGN_OR_RETURN(auto options, GetOptions());
LITERT_ASSIGN_OR_RETURN(
    auto compiled_model,
    CompiledModel::Create(env, "/path/to/mymodel.tflite", options));

// Preallocate input/output buffers
LITERT_ASSIGN_OR_RETURN(auto input_buffers,compiled_model.CreateInputBuffers(signature_index));
LITERT_ASSIGN_OR_RETURN(auto output_buffers,compiled_model.CreateOutputBuffers(signature_index));

// Fill the input buffer
LITERT_ABORT_IF_ERROR(input_buffers[0].Write(input0));
LITERT_ABORT_IF_ERROR(input_buffers[1].Write(input1));

// Invoke
LITERT_ABORT_IF_ERROR(compiled_model.Run(signature_index, input_buffers, output_buffers));

// Read the output
LITERT_ABORT_IF_ERROR(output_buffers[0].Read(output0));

একটি হার্ডওয়্যার অ্যাক্সিলারেটর বেছে নিন

LiterRT-তে ব্যাকএন্ড অন্তর্ভুক্ত করার সবচেয়ে সহজ উপায় হল রানটাইমের অন্তর্নির্মিত বুদ্ধিমত্তার উপর নির্ভর করা। CompiledModel API-এর সাহায্যে, LiterT সেটআপটিকে উল্লেখযোগ্যভাবে সহজ করে তোলে এবং লক্ষ্য ব্যাকএন্ডকে একটি বিকল্প হিসাবে নির্দিষ্ট করার ক্ষমতা প্রদান করে। আরও বিস্তারিত জানার জন্য অন-ডিভাইস ইনফারেন্স গাইড দেখুন ।

অতিরিক্ত ডকুমেন্টেশন এবং সহায়তা

• আরও LiterRT নমুনা অ্যাপের জন্য LiterRT-Samples GitHub রেপো ।

• টেনসরফ্লো লাইটের বিদ্যমান ব্যবহারকারীদের জন্য , মাইগ্রেশন গাইড দেখুন।

• কর্মক্ষমতা, প্রোফাইলিং, ত্রুটি প্রতিবেদন ইত্যাদির জন্য LiterRT সরঞ্জাম পৃষ্ঠা।