Intel NPU (OpenVino) LiteRT সহ

LiteRT, CompiledModel API-এর মাধ্যমে AOT এবং অন-ডিভাইস কম্পাইলেশন উভয়ের জন্যই Intel OpenVino-কে সমর্থন করে।

উন্নয়ন পরিবেশ সেট আপ করুন

লিনাক্স (x86_64):

• উবুন্টু ২২.০৪ অথবা ২৪.০৪ এলটিএস
• পাইথন ৩.১০+ — python.org অথবা আপনার ডিস্ট্রো থেকে ইনস্টল করুন ( sudo apt install python3 python3-venv )
• ইন্টেল এনপিইউ ড্রাইভার ভি১.৩২.১ — লিনাক্স এনপিইউ সেটআপ দেখুন

উইন্ডোজ (x86_64):

• উইন্ডোজ ১০ বা ১১
• পাইথন ৩.১০+ — python.org থেকে ইনস্টল করুন
• ইন্টেল এনপিইউ ড্রাইভার 32.0.100.4724+ — উইন্ডোজ এনপিইউ সেটআপ দেখুন

সোর্স থেকে বিল্ড করার জন্য, ব্যাজেলিস্ক (Bazelisk ) ব্যবহার করে ব্যাজেল ৭.৪.১+ (Bazel 7.4.1+) অথবা হারমেটিক ডকার বিল্ডও (hermetic Docker build) প্রয়োজন।

সমর্থিত SoC-গুলি

দ্রুত শুরু

১. এনপিইউ ড্রাইভার ইনস্টল করুন

লিনাক্স এনপিইউ সেটআপ অথবা উইন্ডোজ এনপিইউ সেটআপ দেখুন। আপনার শুধু এওটি (AOT) প্রয়োজন হলে এটি এড়িয়ে যান।

এনপিইউ ড্রাইভারটি শুধুমাত্র সেইসব সিস্টেমে প্রয়োজন হয়, যেগুলো এনপিইউ হার্ডওয়্যারে মডেলটি নির্বাহ করে । বিশুদ্ধ এওটি-বিল্ড সিস্টেমে এটি বাদ দেওয়া যেতে পারে।

দ্রষ্টব্য: ai-edge-litert-sdk-intel-nightly PEP 440 সংস্করণ অনুযায়ী সংশ্লিষ্ট OpenVINO নাইটলি হুইলকে পিন করে রাখে (যেমন openvino==2026.2.0.dev20260506 ), তাই এটি খুঁজে বের করার জন্য pip-এর --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly প্রয়োজন হয়। লিনাক্সে, যদি ডিস্ট্রোর স্বয়ংক্রিয় শনাক্তকরণ ভুল আর্কাইভটি বেছে নেয়, তাহলে pip install আগে LITERT_OV_OS_ID=ubuntu22 অথবা ubuntu24 সেট করে নিন।

২. একটি পাইথন ভার্চুয়াল এনভায়রনমেন্ট তৈরি করুন

সিস্টেম-ব্যাপী যেকোনো OpenVINO ইনস্টল থেকে রাতের openvino হুইলটিকে বিচ্ছিন্ন রাখার পরামর্শ দেওয়া হচ্ছে।

python -m venv litert_env
# Linux / macOS
source litert_env/bin/activate
# Windows (PowerShell)
.\litert_env\Scripts\Activate.ps1

python -m pip install --upgrade pip

৩. পিপ প্যাকেজটি ইনস্টল করুন

pip install --pre \
    --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly \
    ai-edge-litert-nightly ai-edge-litert-sdk-intel-nightly

--extra-index-url pip-কে PyPI-এর প্যাকেজগুলোর পাশাপাশি OpenVINO-এর ইনডেক্স থেকে পিন করা openvino nightly wheel প্যাকেজটি খুঁজে বের করতে সাহায্য করে।

৪. ইনস্টলেশন যাচাই করুন

python -c "
from ai_edge_litert.aot.vendors.intel_openvino import intel_openvino_backend
import ai_edge_litert_sdk_intel, openvino, os
print('Backend:', intel_openvino_backend.IntelOpenVinoBackend.id())
print('Dispatch:', intel_openvino_backend.get_dispatch_dir())
print('OpenVINO:', openvino.__version__)
print('SDK libs:', sorted(os.listdir(ai_edge_litert_sdk_intel.path_to_sdk_libs())))
print('Available devices:', openvino.Core().available_devices)
"

আউটপুটে কী পরীক্ষা করতে হবে:

• SDK libs তালিকায় libopenvino_intel_npu_compiler.so (Linux) অথবা openvino_intel_npu_compiler.dll (Windows) রয়েছে — যা AOT-এর জন্য আবশ্যক।
• Available devices মধ্যে NPU অন্তর্ভুক্ত রয়েছে — এটি নিশ্চিত করে যে NPU ড্রাইভার ইনস্টল করা আছে এবং OpenVINO ডিভাইসটির সাথে যোগাযোগ করতে পারে। শুধুমাত্র AOT-ভিত্তিক সিস্টেমে (যেখানে ড্রাইভার ইনস্টল করা নেই) এবং ইন্টেল NPU হার্ডওয়্যারবিহীন সিস্টেমে NPU অনুপস্থিত থাকবে।

৫. এওটি কম্পাইল (ঐচ্ছিক)

• একটি নির্দিষ্ট ইন্টেল এনপিইউ টার্গেটের (পিটিএল বা এলএনএল) জন্য একটি .tflite ফাইল আগে থেকেই কম্পাইল করা হয়, ফলে রানটাইম কম্পাইলার প্লাগইন ধাপটি এড়িয়ে যায়।
• কোনো ফিজিক্যাল এনপিইউ বা এনপিইউ ড্রাইভারের প্রয়োজন নেই — শুধু ai-edge-litert-nightly এবং ai-edge-litert-sdk-intel-nightly প্রয়োজন।
• ক্রস-কম্পাইলেশন সমর্থিত: যেকোনো লিনাক্স বা উইন্ডোজ হোস্টে কম্পাইল করুন, এরপর প্রাপ্ত .tflite ফাইলটি যেকোনো একটি অপারেটিং সিস্টেমের টার্গেটে পাঠিয়ে দিন এবং সেখানেই চালান।

আউটপুট ফাইলগুলোর নাম <model>_IntelOpenVINO_<SoC>_apply_plugin.tflite ।

from ai_edge_litert.aot import aot_compile
from ai_edge_litert.aot.vendors.intel_openvino import target as intel_target

# Compile for a single Intel NPU target (PTL or LNL).
aot_compile.aot_compile(
    "model.tflite",
    output_dir="out",
    target=intel_target.Target(soc_model=intel_target.SocModel.PTL),
)

# Or omit target= to compile for every registered backend/target.
aot_compile.aot_compile("model.tflite", output_dir="out", keep_going=True)

৬. এনপিইউ ইনফারেন্স চালান

LiteRT ইন্টেল এনপিইউ-তে দুটি ইনফারেন্স পাথ সমর্থন করে:

• JIT — একটি সরাসরি .tflite ফাইল লোড করে; কম্পাইলার প্লাগইনটি CompiledModel.from_file() ফাংশনের সময় NPU-এর জন্য সমর্থিত অপসগুলোকে বিভক্ত করে এবং কম্পাইল করে। এর ফলে প্রথমবার চালানোর সময় কিছুটা বিলম্ব হয় (যা মডেল অনুযায়ী পরিবর্তিত হয়)।
• AOT-কম্পাইলকৃত — ধাপ ৪ দ্বারা উৎপাদিত একটি <model>_IntelOpenVINO_<SoC>_apply_plugin.tflite লোড করে। লোড করার সময় পার্টিশন এবং কম্পাইলেশন ধাপটি এড়িয়ে যায়।

এই কোড স্নিপেটটি উভয়ের জন্যই কাজ করে:

from ai_edge_litert.compiled_model import CompiledModel
from ai_edge_litert.hardware_accelerator import HardwareAccelerator

model = CompiledModel.from_file(
    "model.tflite",  # raw tflite (JIT) or ..._apply_plugin.tflite (AOT)
    hardware_accel=HardwareAccelerator.NPU | HardwareAccelerator.CPU,
)

sig_key = list(model.get_signature_list().keys())[0]
sig_idx = model.get_signature_index(sig_key)
input_buffers = model.create_input_buffers(sig_idx)
output_buffers = model.create_output_buffers(sig_idx)
model.run_by_index(sig_idx, input_buffers, output_buffers)
print("Fully accelerated:", model.is_fully_accelerated())

JIT আসলেই চলেছে কিনা তা নিশ্চিত করুন।

JIT সফল হলে, লগে নিম্নলিখিত বিষয়গুলো থাকে (লিনাক্সে ফাইল এক্সটেনশন .so , উইন্ডোজে .dll ):

INFO: [compiler_plugin.cc:236] Loaded plugin at: .../LiteRtCompilerPlugin_IntelOpenvino.{so,dll}
INFO: [compiler_plugin.cc:690] Partitioned subgraph<0>, selected N ops, from a total of N ops
INFO: [compiled_model.cc:1006] JIT compilation changed model, reserializing...

যদি ওই লাইনগুলো অনুপস্থিত থাকে কিন্তু তারপরেও Fully accelerated: True রিপোর্ট করা হয়, তাহলে মডেলটি NPU-তে নয়, বরং XNNPACK CPU ফলব্যাকে চালানো হয়েছিল — JIT ট্রাবলশুটিং সারিটি দেখুন।

৭. বেঞ্চমার্ক

# Dispatch library and the NPU compiler are auto-discovered from the wheel.
litert-benchmark --model=model.tflite --use_npu --num_runs=50

সাধারণ ফ্ল্যাগ:

উন্নত / ওভাররাইড ফ্ল্যাগ — শুধুমাত্র কাস্টম বিল্ড নির্দেশ করার জন্য প্রয়োজন: --dispatch_library_path , --compiler_plugin_path , --runtime_path ।

মিশ্র-বিক্রেতা হুইল: ইন্টেল ওভি-তে জেআইটি-কে আবদ্ধ করা

দ্রষ্টব্য: যখন সুস্পষ্ট পাথ ছাড়া Environment.create() কল করা হয়, তখন এটি ai_edge_litert/vendors/ অধীনে বর্ণানুক্রমিকভাবে স্বয়ংক্রিয়ভাবে ভেন্ডরদের খুঁজে বের করে এবং প্রথমটিকে রেজিস্টার করে। একটি মিশ্র-ভেন্ডর ইনস্টলেশনে এটি Intel OV নাও হতে পারে — সঠিকটি বেছে নিতে বাধ্য করার জন্য Intel OV ডিরেক্টরিগুলো স্পষ্টভাবে উল্লেখ করুন।

• পিপ হুইলটিতে প্রতিটি নিবন্ধিত ভেন্ডরের ( intel_openvino/ , google_tensor/ , mediatek/ , qualcomm/ , samsung/ ) জন্য কম্পাইলার প্লাগইন অন্তর্ভুক্ত রয়েছে।
• ইন্টেল ওভি পাথ নির্দিষ্ট করতে (একাধিক ভেন্ডরের এসডিকে ইনস্টল করা থাকলে এটি সুপারিশ করা হয়), ইন্টেল ওভি ডিরেক্টরিগুলো হাতে লিখে দিন:

from ai_edge_litert.environment import Environment
from ai_edge_litert.compiled_model import CompiledModel
from ai_edge_litert.hardware_accelerator import HardwareAccelerator
from ai_edge_litert.aot.vendors.intel_openvino import intel_openvino_backend as ov

env = Environment.create(
    compiler_plugin_path=ov.get_compiler_plugin_dir(),   # JIT compiler
    dispatch_library_path=ov.get_dispatch_dir(),          # runtime
)
model = CompiledModel.from_file(
    "model.tflite",
    hardware_accel=HardwareAccelerator.NPU | HardwareAccelerator.CPU,
    environment=env,
)

রানটাইম প্রদত্ত ডিরেক্টরিতে থাকা প্রতিটি শেয়ার্ড লাইব্রেরি লোড করে, তাই vendors/intel_openvino/compiler/ নির্দেশ দিলে শুধুমাত্র ইন্টেল প্লাগইনটি লোড হয়; পার্শ্ববর্তী ডিরেক্টরিতে থাকা গুগল টেনসর / মিডিয়াটেক / কোয়ালকম / স্যামসাং প্লাগইনগুলো কখনোই লোড হয় না।

CLI-এর ক্ষেত্রে, সমতুল্য ফ্ল্যাগগুলো হলো:

DISPATCH_DIR=$(python3 -c 'from ai_edge_litert.aot.vendors.intel_openvino import intel_openvino_backend as ov; print(ov.get_dispatch_dir())')
COMPILER_DIR=$(python3 -c 'from ai_edge_litert.aot.vendors.intel_openvino import intel_openvino_backend as ov; print(ov.get_compiler_plugin_dir())')

litert-benchmark --model=model.tflite --use_npu \
    --compiler_plugin_path=$COMPILER_DIR \
    --dispatch_library_path=$DISPATCH_DIR

এনপিইউ এক্সিকিউশন যাচাই করুন

মডেলটি প্রকৃতপক্ষে এনপিইউ-তে চলেছে কিনা তা নিশ্চিত করতে, উভয় সিগন্যাল পরীক্ষা করুন:

1. লগটিতে লেখা আছে Loading shared library: .../LiteRtDispatch_IntelOpenvino.{so,dll} — ইন্টেল ডিসপ্যাচ লাইব্রেরিটি লোড হয়েছে (লিনাক্সে .so , উইন্ডোজে .dll )।
2. model.is_fully_accelerated() True রিটার্ন করে — এর মানে হলো প্রতিটি অপারেশন নির্বাচিত অ্যাক্সিলারেটরে অফলোড করা হয়েছে।

শুধুমাত্র is_fully_accelerated() যথেষ্ট নয় : যদি ডিসপ্যাচ লাইব্রেরি কখনো লোড না হয়, তাহলে অপসগুলো NPU-তে নয়, বরং XNNPACK/CPU-তে সম্পূর্ণরূপে অফলোড করা হতো।

লিনাক্স এনপিইউ সেটআপ

দ্রষ্টব্য: আপনার যদি শুধু AOT-এর প্রয়োজন হয়, তবে এই অংশটি এড়িয়ে যান — একটি ফিজিক্যাল NPU-এর প্রয়োজন নেই।

তথ্য: NPU ড্রাইভার v1.32.1 (OpenVINO 2026.1-এর সাথে যুক্ত) ব্যবহার করুন। পুরোনো ড্রাইভারগুলো Level0 pfnCreate2 result: ZE_RESULT_ERROR_UNSUPPORTED_FEATURE কারণে ব্যর্থ হয়।

# 1. NPU driver (Ubuntu 24.04 use -ubuntu2204 tarball for 22.04).
sudo dpkg --purge --force-remove-reinstreq \
  intel-driver-compiler-npu intel-fw-npu intel-level-zero-npu intel-level-zero-npu-dbgsym || true
wget https://github.com/intel/linux-npu-driver/releases/download/v1.32.1/linux-npu-driver-v1.32.1.20260422-24767473183-ubuntu2404.tar.gz
tar -xf linux-npu-driver-v1.32.1.*.tar.gz
sudo apt update && sudo apt install -y libtbb12
sudo dpkg -i intel-fw-npu_*.deb intel-level-zero-npu_*.deb intel-driver-compiler-npu_*.deb

# 2. Level Zero loader v1.27.0.
wget https://snapshot.ppa.launchpadcontent.net/kobuk-team/intel-graphics/ubuntu/20260324T100000Z/pool/main/l/level-zero-loader/libze1_1.27.0-1~24.04~ppa2_amd64.deb
sudo dpkg -i libze1_*.deb

# 3. Permissions + verify.
sudo gpasswd -a ${USER} render && newgrp render
ls /dev/accel/accel0   # must exist after reboot

এরপর কুইক স্টার্ট থেকে ইনস্টল ও ভেরিফাই কোডটি চালান।

উইন্ডোজ এনপিইউ সেটআপ

দ্রষ্টব্য: আপনার যদি শুধু AOT-এর প্রয়োজন হয়, তবে এই অংশটি এড়িয়ে যান — একটি ফিজিক্যাল NPU-এর প্রয়োজন নেই।

• ইন্টেল ডাউনলোড সেন্টার থেকে ইন্টেল এনপিইউ ড্রাইভার ( 32.0.100.4724+ ) ইনস্টল করুন।
• ডিভাইস ম্যানেজারে NPU ডিভাইসটি নিউরাল প্রসেসরের অধীনে তালিকাভুক্ত আছে কিনা তা যাচাই করুন (ড্রাইভারের উপর নির্ভর করে এটি Intel(R) AI Boost বা Intel(R) NPU হিসাবে দেখানো হয়)।
• কুইক স্টার্ট থেকে install + verify কোডটি চালান, এবং pip এর পরিবর্তে python -m pip ব্যবহার করুন।

তথ্য: import ai_edge_litert os.add_dll_directory() ব্যবহার করে ডিএলএল ডিরেক্টরিগুলো স্বয়ংক্রিয়ভাবে রেজিস্টার হয়ে যায়, তাই পাইথন স্ক্রিপ্টের জন্য PATH সেটআপ করার প্রয়োজন হয় না। যারা পাইথন ব্যবহার করেন না, তারা setupvars.bat রান করুন অথবা PATH শুরুতে <openvino>/libs যোগ করুন।

উৎস থেকে তৈরি করুন

প্রক্সির পেছনে আছেন? বিল্ড স্ক্রিপ্টগুলো চালানোর আগে http_proxy / https_proxy / no_proxy এক্সপোর্ট করুন — এগুলো ডকার এবং কন্টেইনারে এগুলো ফরোয়ার্ড করে দেয়।

লিনাক্স (ডকার, হারমেটিক):

cd LiteRT/docker_build && ./build_wheel_with_docker.sh

উইন্ডোজ (পাওয়ারশেল, ব্যাজেল PATH-এ থাকলে):

.\ci\build_pip_package_with_bazel_windows.ps1

আউটপুট ভূমি dist/ এ :

• ai_edge_litert-*.whl — রানটাইম হুইল।
• ai_edge_litert_sdk_{intel,qualcomm,mediatek,samsung}-*.tar.gz — বিক্রেতা sdists।
• ইন্টেল sdist-এর আকার প্রায় ৫ কিলোবাইট; pip install সময় NPU কম্পাইলারের .so / .dll ফাইলগুলো ডাউনলোড করা হয়, তাই একই sdist লিনাক্স এবং উইন্ডোজ উভয় প্ল্যাটফর্মেই কাজ করে।

ইউনিট পরীক্ষা

bazel test \
  //litert/python/aot/vendors/intel_openvino:intel_openvino_backend_test \
  //litert/c/options:litert_intel_openvino_options_test \
  //litert/cc/options:litert_intel_openvino_options_test \
  //litert/tools/flags/vendors:intel_openvino_flags_test

সমস্যা সমাধান

সীমাবদ্ধতা

OpenVINO ডিসপ্যাচ পাথের মাধ্যমে শুধুমাত্র NPU ডিভাইসটি সমর্থিত। CPU ইনফারেন্সের জন্য, কেবল HardwareAccelerator.CPU (XNNPACK) ব্যবহার করুন।

পরবর্তী পদক্ষেপ

1. একীভূত NPU নির্দেশিকা দিয়ে শুরু করুন: LiteRT-এর সাহায্যে NPU অ্যাক্সিলারেশন
2. সেখানে দেওয়া রূপান্তর এবং স্থাপনের ধাপগুলো অনুসরণ করুন এবং যেখানে প্রযোজ্য সেখানে কোয়ালকম (Qualcomm) নির্বাচন করুন।
3. LLM-এর জন্য, LiteRT-LM ব্যবহার করে NPU-তে LLM এক্সিকিউট করুন দেখুন।