জেমার সাথে চ্যাট: মৌলিক এবং বহুমুখী কথোপকথন

জেম্মা ইন্সট্রাকশন-টিউনড (আইটি) মডেলগুলি একক প্রশ্নোত্তর বিনিময় থেকে শুরু করে বর্ধিত বহু-পালা সংলাপ পর্যন্ত কথোপকথনমূলক মিথস্ক্রিয়া পরিচালনা করার জন্য ডিজাইন করা হয়েছে। এই নির্দেশিকাটি ব্যাখ্যা করে যে কীভাবে জেম্মার সাথে চ্যাটের জন্য প্রম্পট ফর্ম্যাট করতে হয় এবং কীভাবে বহু-পালা কথোপকথন তৈরি করতে হয়।

প্রম্পট ফর্ম্যাট

জেমা আইটি মডেলগুলি কথোপকথনের পালা চিহ্নিত করার জন্য বিশেষ নিয়ন্ত্রণ টোকেন ব্যবহার করে। টোকেনাইজারে সরাসরি প্রম্পট পাঠানোর সময় এই টোকেনগুলি প্রয়োজন হয়, তবে সাধারণত চ্যাট-সচেতন ফ্রেমওয়ার্ক দ্বারা স্বয়ংক্রিয়ভাবে প্রয়োগ করা হয়।

একক-টার্ন প্রম্পট

একটি সিঙ্গেল-টার্ন প্রম্পটে একটি ব্যবহারকারীর বার্তা এবং একটি মডেল রেসপন্স মার্কার থাকে:

<start_of_turn>user
What is the speed of light?<end_of_turn>
<start_of_turn>model

মাল্টি-টার্ন প্রম্পট

একাধিক-পালা কথোপকথন একাধিক বিনিময়কে শৃঙ্খলিত করে। প্রতিটি পালা একই নিয়ন্ত্রণ টোকেন দিয়ে আবৃত থাকে:

<start_of_turn>user
What is the speed of light?<end_of_turn>
<start_of_turn>model
The speed of light in a vacuum is approximately 299,792,458 meters per second.<end_of_turn>
<start_of_turn>user
How long does it take light to reach Earth from the Sun?<end_of_turn>
<start_of_turn>model

মডেলটি চূড়ান্ত <start_of_turn>model টার্নের জন্য একটি প্রতিক্রিয়া তৈরি করে।

সিস্টেম নির্দেশাবলী

জেমার নির্দেশ-সুরক্ষিত মডেলগুলি কেবল দুটি ভূমিকার সাথে কাজ করার জন্য ডিজাইন করা হয়েছে: user এবং model । অতএব, system ভূমিকা বা সিস্টেম টার্ন সমর্থিত নয়।

আলাদা সিস্টেম ভূমিকা ব্যবহার করার পরিবর্তে, প্রাথমিক ব্যবহারকারী প্রম্পটের মধ্যেই সরাসরি সিস্টেম-স্তরের নির্দেশাবলী প্রদান করুন। মডেল নির্দেশ অনুসরণের ক্ষমতা জেমাকে নির্দেশাবলী কার্যকরভাবে ব্যাখ্যা করার অনুমতি দেয়। উদাহরণস্বরূপ:

জেমা ৩ এবং পরবর্তী মডেলগুলি সিস্টেম নির্দেশাবলী সমর্থন করে যা সমগ্র কথোপকথনের জন্য মডেলের আচরণ, ব্যক্তিত্ব বা সীমাবদ্ধতাগুলিকে সংজ্ঞায়িত করে। প্রথম ব্যবহারকারীর পালা শুরু হওয়ার আগে সিস্টেম নির্দেশাবলী রাখুন:

<start_of_turn>user
Only reply like a pirate.

What is the answer to life the universe and everything?<end_of_turn>
<start_of_turn>model
Arrr, 'tis 42,<end_of_turn>

আরও বিস্তারিত জানার জন্য, প্রম্পট এবং সিস্টেম নির্দেশাবলী দেখুন।

ফ্রেমওয়ার্ক সাপোর্ট

বেশিরভাগ ফ্রেমওয়ার্ক তাদের চ্যাট টেমপ্লেট বা কথোপকথন API এর মাধ্যমে স্বয়ংক্রিয়ভাবে চ্যাট ফর্ম্যাটিং পরিচালনা করে:

আলিঙ্গনকারী মুখের ট্রান্সফরমার 

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-1b-it")
model = AutoModelForCausalLM.from_pretrained("google/gemma-3-1b-it")

messages = [
    {"role": "user", "content": "What is machine learning?"},
]

inputs = tokenizer.apply_chat_template(
    messages,
    return_tensors="pt",
    add_generation_prompt=True,
)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

ওল্লামা 

ollama run gemma3:1b "What is machine learning?"

মাল্টি-টার্ন চ্যাটের জন্য, ইন্টারেক্টিভ মোড ব্যবহার করুন:

ollama run gemma3:1b
>>> What is machine learning?
...
>>> How is it different from deep learning?

OpenAI-সামঞ্জস্যপূর্ণ API গুলি

OpenAI-সামঞ্জস্যপূর্ণ API (যেমন vLLM, llama.cpp, অথবা LM Studio) প্রকাশ করে এমন ফ্রেমওয়ার্ক ব্যবহার করার সময়, স্ট্যান্ডার্ড messages বিন্যাস ব্যবহার করে বার্তা প্রেরণ করুন:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")

response = client.chat.completions.create(
    model="google/gemma-3-1b-it",
    messages=[
        {"role": "user", "content": "What is machine learning?"},
    ],
)
print(response.choices[0].message.content)

পরবর্তী পদক্ষেপ