LiteRT-LM কমান্ড লাইন ইন্টারফেস (CLI) আপনাকে টার্মিনাল ব্যবহার করে মডেল চালাতে এবং সেগুলোর সাথে ইন্টারঅ্যাক্ট করতে দেয়।
ইনস্টলেশন
uv ব্যবহার করা (সুপারিশকৃত)
uv ইনস্টল করতে uv ইনস্টলেশন গাইড অনুসরণ করুন।
uv tool install litert-lm-nightly
pip ব্যবহার করে
python3 -m venv .venv
source .venv/bin/activate
pip install litert-lm-nightly
চ্যাট
CLI ব্যবহার করে মডেলটি চালান:
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --prompt="What is the capital of France?"
ফাংশন কলিং / টুলস
আপনি প্রিসেট ব্যবহার করে টুলগুলো চালাতে পারেন। একটি preset.py ফাইল তৈরি করুন:
import datetime
import base64
def get_current_time() -> str:
"""Returns the current date and time."""
return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
system_instruction = "You are a helpful assistant with access to tools."
tools = [get_current_time]
প্রিসেট দিয়ে চালান:
litert-lm run google/gemma-3n-E2B-it-litert-lm/gemma-3n-E2B-it-int4 --preset=preset.py
নমুনা নির্দেশাবলী এবং ইন্টারেক্টিভ আউটপুট:
> what will the time be in two hours?
[tool_call] {"arguments": {}, "name": "get_current_time"}
[tool_response] {"name": "get_current_time", "response": "2026-03-25 21:54:07"}
The current time is 2026-03-25 21:54:07.
In two hours, it will be **2026-03-25 23:54:07**.
এখানে কী ঘটছে?
যখন আপনি এমন কোনো প্রশ্ন করেন যার জন্য বাহ্যিক তথ্যের (যেমন বর্তমান সময়) প্রয়োজন হয়, তখন মডেলটি বুঝতে পারে যে এটিকে একটি টুল কল করতে হবে।
- মডেল
tool_callনির্গত করে : মডেলটিget_current_timeফাংশনটি কল করার জন্য একটি JSON অনুরোধ আউটপুট করে। - CLI টুল এক্সিকিউট করে : LiteRT-LM CLI এই কলটি গ্রহণ করে এবং আপনার
preset.pyতে সংজ্ঞায়িত সংশ্লিষ্ট পাইথন ফাংশনটি এক্সিকিউট করে। - CLI
tool_responseপাঠায় : CLI ফলাফলটি মডেলে ফেরত পাঠায়। - মডেল চূড়ান্ত উত্তর তৈরি করে : মডেলটি ব্যবহারকারীর জন্য চূড়ান্ত উত্তর গণনা ও তৈরি করতে টুলটির প্রতিক্রিয়া ব্যবহার করে।
এই "ফাংশন কলিং" লুপটি CLI-এর মধ্যে স্বয়ংক্রিয়ভাবে ঘটে, যার ফলে আপনি কোনো জটিল অর্কেস্ট্রেশন কোড না লিখেই পাইথন সক্ষমতা দিয়ে স্থানীয় LLM-গুলিকে সমৃদ্ধ করতে পারেন।
পাইথন, সি++ এবং কোটলিন এপিআই থেকেও একই সক্ষমতা পাওয়া যায়।