বেঞ্চমার্ক কম্পাইলডমডেল এপিআই

LiterRT বেঞ্চমার্ক টুলগুলি নিম্নলিখিত গুরুত্বপূর্ণ কর্মক্ষমতা মেট্রিক্সের পরিসংখ্যান পরিমাপ এবং গণনা করে:

• আরম্ভের সময়
• উষ্ণতার অবস্থার অনুমান সময়
• স্থির অবস্থার অনুমান সময়
• আরম্ভের সময় মেমরির ব্যবহার
• সামগ্রিক মেমোরি ব্যবহার

CompiledModel বেঞ্চমার্ক টুলটি একটি C++ বাইনারি, benchmark_model হিসাবে প্রদান করা হয়েছে। আপনি এই টুলটি একটি শেল কমান্ড লাইন থেকে Android, Linux, macOS, Windows এবং GPU অ্যাক্সিলারেশন সক্ষম থাকা এমবেডেড ডিভাইসগুলিতে চালাতে পারেন।

পূর্বনির্মিত বেঞ্চমার্ক বাইনারি ডাউনলোড করুন

নিচের লিঙ্কগুলি অনুসরণ করে রাতের পূর্বনির্মিত কমান্ড-লাইন বাইনারিগুলি ডাউনলোড করুন:

• অ্যান্ড্রয়েড_আর্ম64
• লিনাক্স_এক্স৮৬_৬৪
• লিনাক্স_আর্ম৬৪
• ম্যাকোস_আর্ম64
• উইন্ডোজ_এক্স৮৬_৬৪

উৎস থেকে বেঞ্চমার্ক বাইনারি তৈরি করুন

আপনি source থেকে বেঞ্চমার্ক বাইনারি তৈরি করতে পারেন।

bazel build -c opt //litert/tools:benchmark_model

অ্যান্ড্রয়েড এনডিকে টুলচেইন দিয়ে বিল্ড করার জন্য, আপনাকে প্রথমে এই নির্দেশিকা অনুসরণ করে বিল্ড পরিবেশ সেট আপ করতে হবে, অথবা এই নির্দেশিকায় বর্ণিত ডকার চিত্রটি ব্যবহার করতে হবে।

bazel build -c opt --config=android_arm64 \
  //litert/tools:benchmark_model

বেঞ্চমার্ক চালান

বেঞ্চমার্ক চালানোর জন্য, শেল থেকে বাইনারিটি চালান।

path/to/downloaded_or_built/benchmark_model \
  --graph=your_model.tflite \
  --num_threads=4

benchmark_model এর সোর্স কোডে আরও প্যারামিটার বিকল্প পাওয়া যাবে।

বেঞ্চমার্ক জিপিইউ ত্বরণ

এই পূর্বনির্মিত বাইনারিগুলির মধ্যে রয়েছে LiterRT GPU Accelerator। এটি সমর্থন করে

• অ্যান্ড্রয়েড: ওপেনসিএল
• লিনাক্স: ওপেনসিএল এবং ওয়েবজিপিইউ (ভালকান দ্বারা সমর্থিত)
• ম্যাকওএস: ধাতু
• উইন্ডোজ: ওয়েবজিপিইউ (ডাইরেক্ট৩ডি দ্বারা সমর্থিত)

GPU অ্যাক্সিলারেটর ব্যবহার করতে, --use_gpu=true ফ্ল্যাগটি পাস করুন।

প্রোফাইল মডেল অপারেশনস

বেঞ্চমার্ক মডেল বাইনারি আপনাকে মডেল অপস প্রোফাইল করতে এবং প্রতিটি অপারেটরের এক্সিকিউশন সময় পেতে দেয়। এটি করার জন্য, ইনভোকেশনের সময় --use_profiler=true পতাকাটি benchmark_model এ পাস করুন।