দীর্ঘ ডিকোড

লং ডিকোড, Gemini 4 Argon-কে ডিপ রিজনিং টাস্কের জন্য ৬৪ হাজার টোকেনের বেশি জেনারেট করতে দেয়,যা ইউনিফায়েড ১ মিলিয়ন টোকেন কন্টেক্সট উইন্ডো পর্যন্ত (ইনপুট,থিঙ্কিং ও আউটপুট জুড়ে ১, ০৪৮, ৫৭৬ টোকেন শেয়ার করা হয়) হতে পারে। Interactions API-তে, আপনি ব্যাকগ্রাউন্ড এক্সিকিউশনের সাথে লং ডিকোড চালু করেন যাতে আমাদের সার্ভার অটোমেটিক প্রতিটি 64K হপকে একটি ইন্টার‍্যাকশনে জেনারেট ও একত্রিত করে।

ডিকোড কতক্ষণ কাজ করে

একটি মডেল কলে সর্বাধিক ৬৪ হাজার টোকেন জেনারেট হয়। কোনও উত্তরের জন্য ৬৪K-এর বেশি টোকেন প্রয়োজন হলে, সার্ভার এটিকে ৬৪K হপ হিসেবে জেনারেট করে যা আগের হপ যেখানে শেষ হয়েছে সেখান থেকে চলতে থাকে। প্রতিটি হপ একই ইন্টার‍্যাকশন আইডির অধীনে model_output থেকে interaction.steps পর্যন্ত ধাপ যোগ করে, তাই সম্পূর্ণ উত্তর পড়তে আপনি সেইসব ধাপ যোগ করেন:

1. আপনি background: true এবং max_output_tokens-এর সাথে ৬৫,৫৩৬-এর বেশি, ১M পর্যন্ত ইন্টার‍্যাকশন তৈরি করেন।
2. সার্ভার প্রথম হপ জেনারেট করে, সর্বাধিক ৬৪ হাজার টোকেন।
3. সার্ভারটি শেষ হপ যেখানে থেমেছিল সেখান থেকে পরবর্তী হপ শুরু করে এবং মডেলটি শেষ না হওয়া পর্যন্ত বা max_output_tokens-এর সবকটি ব্যবহার না করা পর্যন্ত পুনরাবৃত্তি করে।
4. ফলাফল পেতে আপনি ইন্টার‍্যাকশন পোল করেন বা স্ট্রিম করেন।

import time
from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-4-argon",
    input="Write a complete, rigorous proof of the prime number theorem.",
    background=True,
    generation_config={
        "max_output_tokens": 262144,
        "thinking_level": "high",
    },
)

while interaction.status in ("in_progress", "queued"):
    time.sleep(5)
    interaction = client.interactions.get(id=interaction.id)

# Each hop adds a model_output step, so join the text of all of them.
text = "".join(
    content.text
    for step in interaction.steps
    if step.type == "model_output"
    for content in step.content
    if content.type == "text"
)
print(text)
print("Status:", interaction.status)
print("Usage:", interaction.usage)

import { GoogleGenAI } from "@google/genai";

const client = new GoogleGenAI({});

let interaction = await client.interactions.create({
  model: "gemini-4-argon",
  input: "Write a complete, rigorous proof of the prime number theorem.",
  background: true,
  generation_config: {
    max_output_tokens: 262144,
    thinking_level: "high",
  },
});

while (interaction.status === "in_progress" || interaction.status === "queued") {
  await new Promise((resolve) => setTimeout(resolve, 5000));
  interaction = await client.interactions.get(interaction.id);
}

// Each hop adds a model_output step, so join the text of all of them.
const text = interaction.steps
  .filter((step) => step.type === "model_output")
  .flatMap((step) => step.content ?? [])
  .filter((content) => content.type === "text")
  .map((content) => content.text)
  .join("");
console.log(text);
console.log("Status:", interaction.status);
console.log("Usage:", interaction.usage);

# 1. Create the background interaction. It returns an ID right away.
ID=$(curl -s -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-4-argon",
    "input": "Write a complete, rigorous proof of the prime number theorem.",
    "background": true,
    "generation_config": {"max_output_tokens": 262144, "thinking_level": "high"}
  }' | jq -r '.id')

# 2. Poll until the status is no longer in_progress or queued.
#    The REST response has no output_text field, so join the text of every model_output step.
while true; do
  RESP=$(curl -s "https://generativelanguage.googleapis.com/v1beta/interactions/$ID" \
    -H "x-goog-api-key: $GEMINI_API_KEY")
  STATUS=$(echo "$RESP" | jq -r '.status')
  if [[ "$STATUS" != "in_progress" && "$STATUS" != "queued" ]]; then
    echo "$RESP" | jq -r '[.steps[]? | select(.type == "model_output") | .content[]? | select(.type == "text") | .text] | join("")'
    echo "$RESP" | jq '{status, usage}'
    break
  fi
  sleep 5
done

আউটপুটের সীমা

স্ট্রিমিং এবং নন-স্ট্রিমিং ইন্টার‍্যাকশন ডিফল্ট হিসেবে 64K আউটপুট টোকেন লিমিটে সেট করা থাকে, তাই 64K টোকেন পর্যন্ত উত্তরের জন্য কোড পরিবর্তন করার প্রয়োজন হয় না। আগের ৬৪ হাজার টোকেন জেনারেট করতে, ব্যাকগ্রাউন্ড এক্সিকিউশন চালু করুন এবং max_output_tokens বাড়ান।

কখন লং ডিকোড ব্যবহার করতে হয়

বেশিরভাগ অনুরোধ ৬৪ হাজার টোকেনের মধ্যে শেষ হয়। একটি উত্তরের জন্য এর থেকে বেশি চিন্তা ও আউটপুট প্রয়োজন হলে তবেই 'দীর্ঘ ডিকোড' ব্যবহার করুন।

max_output_tokens-এর মান বেশি সেট করলে, মডেলটি কঠিন সমস্যা নিয়ে আরও বেশি সময় ধরে চিন্তা করার সুযোগ পায়, তবে মডেলটি এখনও সিদ্ধান্ত নেয় যে কতটা লিখতে হবে। মডেল কতটা রিজনিং এফর্ট ব্যবহার করবে তা নিয়ন্ত্রণ করতে, thinking_level সেট করুন।

কীভাবে দীর্ঘ ডিকোড রান করবেন তা বেছে নিন

Interactions API-তে দীর্ঘ ডিকোড চালানোর সবচেয়ে সহজ উপায় হল ব্যাকগ্রাউন্ড এক্সিকিউশন। ক্লায়েন্ট-সাইড কন্টিনিউয়েশন, যেখানে আপনার কোড প্রতিটি হপ শুরু করে, GenerateContent API-এর সাথে উপলভ্য। আপনার নিজস্ব স্থিতিস্থাপকতা ম্যানেজ করার জন্য আরও উন্নত বিকল্প হিসেবে এটি শীঘ্রই Interactions API-তে আসছে।

ক্লায়েন্ট-সাইড কন্টিনিউয়েশন ব্যবহার করতে, GenerateContent API-এর মাধ্যমে দীর্ঘ ডিকোড দেখুন।

স্ট্রিম লং ডিকোড

আউটপুট ও চিন্তাভাবনার সারসংক্ষেপ আসার সাথে সাথে স্ট্রিম করতে, stream: true ও thinking_summaries: "auto" যোগ করুন। দীর্ঘ স্ট্রিম ড্রপ হতে পারে, তাই আপনার ক্লায়েন্টকে অবশ্যই আবার কানেক্ট করতে হবে। ব্যাকগ্রাউন্ড এক্সিকিউশন গাইড-এ আবার কানেক্ট করার প্যাটার্ন ফলো করুন। লং ডিকোড এই নিয়মগুলি যোগ করে:

• ইন্টার‍্যাকশন আইডি সেভ করুন: interaction.created ইভেন্ট থেকে এটি পড়ুন।
• প্রতি event_id সেভ করুন: শুধু টেক্সট ডেল্টাতেই নয়, interaction.status_update ইভেন্টেও event_id আসতে পারে।
• last_event_id-এর সাথে আবার কানেক্ট করুন: stream: true এবং শেষ event_id ব্যবহার করে interactions.get-এ কল করুন। সেই ইভেন্টের পরে স্ট্রিম চলতে থাকে।
• শেষ পর্যন্ত পড়ুন: আপনি আবার কানেক্ট করার পরে, স্ট্যাটাস চেক করার আগে স্ট্রিমটি শেষ পর্যন্ত পড়ুন। ইন্টার‍্যাকশন সম্পূর্ণ হওয়ার পরেও, সার্ভার মিস হয়ে যাওয়া ইভেন্ট রিপ্লে করে।
• দীর্ঘ টাইমআউট সেট করা: প্রতিটি স্ট্রিমের জন্য HTTP রিড টাইমআউট ১৫ থেকে ২০ মিনিট সেট করুন।
• ৫ হাজার টোকেনের চাঙ্কে আউটপুট আশা করুন: প্রথম ৬৪ হাজার টোকেনের (প্রথম ১০ মিনিট) পরে, স্ট্রিমটি প্রায় ৫ হাজার টোকেনের চাঙ্কে আউটপুট পাঠায়। চ্যাঙ্কগুলির মধ্যে পজ থাকা স্বাভাবিক। ইন্টার‍্যাকশন আটকে নেই, তাই কানেকশন খোলা রাখুন।

ব্যাকগ্রাউন্ড স্ট্যাটাস

ব্যাকগ্রাউন্ড ইন্টার‍্যাকশন ২৪ ঘণ্টা পর্যন্ত চলতে পারে। স্ট্যাটাস in_progress বা queued না থাকলে, এই টেবিল ব্যবহার করে টার্মিনাল স্টেট ম্যানেজ করুন:

চলমান ইন্টার‍্যাকশন বন্ধ করতে, Python-এ client.interactions.cancel(id=interaction.id), JavaScript-এ client.interactions.cancel(interaction.id) অথবা REST-এ POST /v1beta/interactions/{id}/cancel কল করুন।

max_output_tokens সেট করুন

max_output_tokens ইন্টার‍্যাকশন জুড়ে চিন্তা ও আউটপুটের জন্য সম্মিলিত সীমা সেট করে। এটি কমালে মডেলটি আরও সংক্ষিপ্তভাবে চিন্তা করে না, বরং উত্তরটি আরও তাড়াতাড়ি শেষ হয়ে যায়।

কম টোকেন ব্যবহার করতে, thinking_level কমান। সবচেয়ে কঠিন রিজনিং টাস্কের জন্য high ব্যবহার করুন। বেশিরভাগ কোডিং ও এজেন্টিক কাজের জন্য medium (ডিফল্ট) ব্যবহার করুন।

টোকেন গণনা করুন

interaction.usage সব হপ জুড়ে মোট সংখ্যা রিপোর্ট করে। এইসব ফিল্ড পড়ুন: total_input_tokens, total_cached_tokens, total_output_tokens, total_thought_tokens এবং total_tokens।

total_input_tokens প্রতিটি হপের ইনপুট টোকেন যোগ করে। প্রতিটি হপ আপনার প্রম্পট এবং এখনও পর্যন্ত জেনারেট করা সবকিছু ইনপুট হিসেবে মডেলে ফেরত পাঠায়, তাই একই টোকেন পরবর্তী প্রতিটি হপে আবার গণনা করা হয়। যেমন, ১,০০০-টোকেন প্রম্পট যা ২০০,০০০ টোকেন থিঙ্কিং ও আউটপুট তৈরি করে, সেটি চারটি হপ নেয়:

total_input_tokens প্রায় ৩,৯৭,০০০ টোকেন রিপোর্ট করে (ইমপ্লিসিট ক্যাশিংয়ের মাধ্যমে বারবার হপ ইনপুট অটোমেটিক ৯৫% ডিসকাউন্ট করা হয়), যদিও আসল কনটেক্সটের সাইজ মাত্র ২,০১,০০০ টোকেন: ১,০০০ টোকেনের প্রম্পট এবং ২,০০,০০০ টোকেনের থিঙ্কিং ও আউটপুট।

স্ট্রিম চলাকালীন, step.stop ও interaction.status_update ইভেন্ট, দু'টিতেই usage (ইন্টার‍্যাকশনের জন্য ক্রমপুঞ্জিত) অন্তর্ভুক্ত থাকে। একসাথে যোগ করার পরিবর্তে লেটেস্ট usage ভ্যালু পড়ুন।

বিলিং সম্পর্কে জানা

আপনি প্রতিটি হপে প্রতিটি টোকেনের জন্য পেমেন্ট করেন, এর মধ্যে শুধুমাত্র চিন্তাভাবনা অন্তর্ভুক্ত হপও আছে।

• ক্যাশে ডিসকাউন্ট: ইমপ্লিসিট ক্যাশিং প্রতিটি হপে পুনরাবৃত্ত ইনপুটকে ৯৫% ডিসকাউন্ট দেয়। শুরুর দিকের দামের মেয়াদ চলাকালীন ক্যাশে করা ইনপুটের খরচ $২.০০-এর পরিবর্তে $০.১০ প্রতি ১ মিলিয়ন টোকেন।
• বাতিল করা ও সম্পূর্ণ না হওয়া ইন্টার‍্যাকশন: ইন্টার‍্যাকশন শেষ হওয়ার আগে সম্পূর্ণ করা সব কাজের জন্য আপনাকে পেমেন্ট করতে হবে।

সমস্যার সমাধান

সীমাবদ্ধতা

• ব্যাকগ্রাউন্ড এক্সিকিউশন ছাড়া দীর্ঘ ডিকোড করা যাবে না: background: false-এর সাথে ইন্টার‍্যাকশন ৬৫,৫৩৬ টোকেনে থেমে যায়। শীঘ্রই সহায়তা পাওয়া যাবে।
• দৈর্ঘ্য সংক্রান্ত টার্গেট নেই: মডেলটি টোকেনের দৈর্ঘ্য বা শব্দের সংখ্যা সংক্রান্ত টার্গেট মেনে চলে না।

পরবর্তী ধাপ

• Gemini 4 Argon-এ নতুন কী আছে
• ব্যাকগ্রাউন্ড এক্সিকিউশন
• ভাবছি
• GenerateContent API-এর মাধ্যমে দীর্ঘ উত্তর ডিকোড করা