কমান্ড লাইন ইন্টারফেস (CLI) আপনাকে কোনো কোড ছাড়াই মডেলগুলো তাৎক্ষণিকভাবে পরীক্ষা করার সুযোগ দেয়।
সমর্থিত প্ল্যাটফর্মসমূহ:
- লিনাক্স
- ম্যাকওএস
- উইন্ডোজ
- রাস্পবেরি পাই
ইনস্টলেশন
পদ্ধতি ১: uvx (দ্রুত পরীক্ষার জন্য প্রস্তাবিত)
স্থায়ীভাবে ইনস্টল না করেই litert-lm অবিলম্বে চালান। এর জন্য uv প্রয়োজন।
যেকোনো litert-lm কমান্ডের আগে uvx যোগ করে আপনি সেটিকে প্রয়োজন অনুযায়ী চালাতে পারেন:
uvx litert-lm run --help
পদ্ধতি ২: uv (স্থায়ী ইনস্টল)
litert-lm একটি সিস্টেম-ব্যাপী বাইনারি হিসেবে ইনস্টল করে। এর জন্য uv প্রয়োজন।
uv tool install litert-lm
পদ্ধতি ৩: pip
ভার্চুয়াল এনভায়রনমেন্টের মধ্যে স্ট্যান্ডার্ড ইনস্টলেশন। --upgrade ব্যবহার করলে আপনি সর্বশেষ সংস্করণটি পাবেন, এমনকি যদি পূর্ববর্তী কোনো সংস্করণ আগে থেকেই ইনস্টল করা থাকে।
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade litert-lm
আপগ্রেড করা
litert-lm সর্বশেষ সংস্করণে আপগ্রেড করতে:
uvx ব্যবহার করলে (পদ্ধতি ১)
কোনো পদক্ষেপের প্রয়োজন নেই। uvx স্বয়ংক্রিয়ভাবে সর্বশেষ সংস্করণটি চালু করে।
uv দিয়ে ইনস্টল করা হলে (পদ্ধতি ২)
uv tool upgrade litert-lm
pip দিয়ে ইনস্টল করা হলে (পদ্ধতি ৩)
আপনার ভার্চুয়াল পরিবেশ সক্রিয় করুন এবং চালান:
pip install --upgrade litert-lm
চ্যাট
HuggingFace থেকে ডাউনলোড করে মডেলটি চালান:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--prompt="What is the capital of France?"
🔴 নতুন: মাল্টি-টোকেন প্রেডিকশন (MTP)
মাল্টি-টোকেন প্রেডিকশন (MTP) হলো একটি পারফরম্যান্স অপটিমাইজেশন যা ডিকোড করার গতি উল্লেখযোগ্যভাবে বাড়িয়ে দেয়। GPU ব্যাকএন্ডের সমস্ত কাজের জন্য MTP সর্বজনীনভাবে সুপারিশ করা হয়।
CLI-তে MTP সক্রিয় করতে, --enable-speculative-decoding=true ফ্ল্যাগটি ব্যবহার করুন:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--backend=gpu \
--enable-speculative-decoding=true \
--prompt="What is the capital of France?"
ফাংশন কলিং / টুলস
আপনি প্রিসেট ব্যবহার করে টুলগুলো চালাতে পারেন। একটি preset.py ফাইল তৈরি করুন:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
প্রিসেট দিয়ে চালান:
litert-lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--preset=preset.py
নমুনা নির্দেশাবলী এবং ইন্টারেক্টিভ আউটপুট:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
এখানে কী ঘটছে?
যখন আপনি এমন কোনো প্রশ্ন করেন যার জন্য বাহ্যিক তথ্যের (যেমন বর্তমান সময়) প্রয়োজন হয়, তখন মডেলটি বুঝতে পারে যে এটিকে একটি টুল চালু করতে হবে।
- মডেল
tool_callনির্গত করে : মডেলটিget_current_timeফাংশনটি কল করার জন্য একটি JSON অনুরোধ আউটপুট করে। - CLI টুল এক্সিকিউট করে : LiteRT-LM CLI এই কলটি গ্রহণ করে এবং আপনার
preset.pyতে সংজ্ঞায়িত সংশ্লিষ্ট পাইথন ফাংশনটি এক্সিকিউট করে। - CLI
tool_responseপাঠায় : CLI ফলাফলটি মডেলে ফেরত পাঠায়। - মডেল চূড়ান্ত উত্তর তৈরি করে : মডেলটি ব্যবহারকারীর জন্য চূড়ান্ত উত্তর গণনা ও তৈরি করতে টুলের প্রতিক্রিয়া ব্যবহার করে।
এই "ফাংশন কলিং" লুপটি CLI-এর মধ্যে স্বয়ংক্রিয়ভাবে ঘটে, যার ফলে আপনি কোনো জটিল অর্কেস্ট্রেশন কোড না লিখেই পাইথন সক্ষমতা দিয়ে স্থানীয় LLM-গুলিকে সমৃদ্ধ করতে পারেন।
পাইথন , সি++ এবং কোটলিন এপিআই থেকেও একই সক্ষমতা পাওয়া যায়।
আনইনস্টল করা হচ্ছে
litert-lm আনইনস্টল করতে:
uvx ব্যবহার করলে (পদ্ধতি ১)
কোনো পদক্ষেপের প্রয়োজন নেই। uvx একটি অস্থায়ী ক্যাশ থেকে চলে এবং স্থায়ীভাবে ইনস্টল হয় না।
uv দিয়ে ইনস্টল করা হলে (পদ্ধতি ২)
uv tool uninstall litert-lm
pip দিয়ে ইনস্টল করা হলে (পদ্ধতি ৩)
pip uninstall litert-lm