অগ্রাধিকার সংক্রান্ত অনুমান

Gemini Priority API হল একটি প্রিমিয়াম ইনফারেন্স টিয়ার যা ব্যবসায়িক-গুরুত্বপূর্ণ ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। এর জন্য কম লেটেন্সি ও প্রিমিয়াম প্রাইস পয়েন্টে সবচেয়ে বেশি নির্ভরযোগ্যতা প্রয়োজন। সাধারণ API ও Flex টিয়ার ট্রাফিকের চেয়ে অগ্রাধিকার টিয়ার ট্রাফিককে বেশি অগ্রাধিকার দেওয়া হয়।

GenerateContent API ও Interactions API এন্ডপয়েন্ট জুড়ে লেভেল ২ ও লেভেল ৩ ব্যবহারকারীদের জন্য প্রায়োরিটি ইনফারেন্স উপলভ্য।

কীভাবে প্রায়োরিটি ব্যবহার করতে হয়

অগ্রাধিকারের টিয়ার ব্যবহার করতে, অনুরোধের বডিতে service_tier ফিল্ডকে priority হিসেবে সেট করুন। ফিল্ডটি বাদ দিলে ডিফল্ট টিয়ার হল স্ট্যান্ডার্ড।

from google import genai

client = genai.Client()

try:
    response = client.models.generate_content(
        model="gemini-3.8-flash",
        contents="Triage this critical customer support ticket immediately.",
        config={"service_tier": "priority"},
    )

    # Validate for graceful downgrade
    if response.sdk_http_response.headers.get("x-gemini-service-tier") == "standard":
        print("Warning: Priority limit exceeded, processed at Standard tier.")

    print(response.text)

except Exception as e:
    # Standard error handling (e.g., DEADLINE_EXCEEDED)
    print(f"Error during API call: {e}")

import {GoogleGenAI} from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
  try {
      const result = await ai.models.generateContent({
          model: "gemini-3.8-flash",
          contents: "Triage this critical customer support ticket immediately.",
          config: {serviceTier: "priority"},
      });

      // Validate for graceful downgrade
      if (result.sdkHttpResponse.headers.get("x-gemini-service-tier") === "standard") {
          console.log("Warning: Priority limit exceeded, processed at Standard tier.");
      }

      console.log(result.text);

  } catch (e) {
      console.log(`Error during API call: ${e}`);
  }
}

await main();

package main

import (
    "context"
    "fmt"
    "log"
    "google.golang.org/genai"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer client.Close()

    resp, err := client.Models.GenerateContent(
        ctx,
        "gemini-3.8-flash",
        genai.Text("Triage this critical customer support ticket immediately."),
        &genai.GenerateContentConfig{
            ServiceTier: "priority",
        },
    )
    if err != nil {
        log.Fatalf("Error during API call: %v", err)
    }

    // Validate for graceful downgrade
    if resp.SDKHTTPResponse.Header.Get("x-gemini-service-tier") == "standard" {
        fmt.Println("Warning: Priority limit exceeded, processed at Standard tier.")
    }

    fmt.Println(resp.Text())
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "contents": [{
    "parts":[{"text": "Analyze user sentiment in real time"}]
  }],
  "service_tier": "priority"
}'

অগ্রাধিকার সংক্রান্ত অনুমান কীভাবে কাজ করে

অগ্রাধিকার নির্ধারণ সংক্রান্ত ইনফারেন্স রুট, অত্যন্ত গুরুত্বপূর্ণ কম্পিউট কোয়েরিতে অনুরোধ পাঠায়, এর ফলে ব্যবহারকারী-কেন্দ্রিক অ্যাপ্লিকেশনের জন্য অনুমানযোগ্য, দ্রুত পারফর্ম্যান্স পাওয়া যায়। এর প্রাথমিক মেকানিজম হল, ডাইনামিক সীমা অতিক্রমকারী ট্রাফিকের জন্য সার্ভার-সাইড ডাউনগ্রেড করে স্ট্যান্ডার্ড প্রসেসিং করা। এর ফলে অনুরোধ বাতিল না করে অ্যাপ্লিকেশনের স্থিতিশীলতা নিশ্চিত করা যায়।

প্রধান সুবিধা

• কম লেটেন্সি: ইন্ট্যার‍্যাক্টিভ, ব্যবহারকারী-কেন্দ্রিক AI টুলের জন্য সেকেন্ডে উত্তর দেওয়ার সময়কে মাথায় রেখে ডিজাইন করা হয়েছে।
• অত্যন্ত নির্ভরযোগ্য: ট্রাফিককে সবচেয়ে বেশি গুরুত্ব দেওয়া হয় এবং সেটি কোনওভাবেই বাদ দেওয়া যায় না।
• গ্রেসফুল ডিগ্রেডেশন: ডায়নামিক সীমা অতিক্রম করে ট্রাফিক স্পাইক হলে, প্রসেস করার জন্য অটোমেটিক স্ট্যান্ডার্ড টিয়ারে ডাউনগ্রেড করা হয়, ব্যর্থ হয় না, ফলে পরিষেবা বন্ধ হয়ে যায় না।
• কম ফ্রিকশন: স্ট্যান্ডার্ড ও Flex টিয়ারের মতো একই সিঙ্ক্রোনাস generateContent পদ্ধতি ব্যবহার করে।

যেসব ক্ষেত্রে ব্যবহার করা যাবে

যেসব ব্যবসায়িক-গুরুত্বপূর্ণ ওয়ার্কফ্লোতে পারফর্ম্যান্স ও নির্ভরযোগ্যতা সবচেয়ে গুরুত্বপূর্ণ, সেগুলির জন্য অগ্রাধিকার ভিত্তিক প্রসেসিং আদর্শ।

• ইন্টার‍্যাক্টিভ AI অ্যাপ্লিকেশন: গ্রাহক পরিষেবা চ্যাটবট ও কোপাইলট যেখানে ব্যবহারকারীরা প্রিমিয়াম পেমেন্ট করেন এবং দ্রুত, ধারাবাহিক উত্তর আশা করেন।
• রিয়েল-টাইম সিদ্ধান্ত গ্রহণকারী ইঞ্জিন: লাইভ টিকিট ট্রায়াজ বা জালিয়াতি শনাক্তকরণের মতো অত্যন্ত নির্ভরযোগ্য, কম লেটেন্সি ফলাফল প্রয়োজন এমন সিস্টেম।
• প্রিমিয়াম গ্রাহক ফিচার: যেসব ডেভেলপারকে পেমেন্ট করা গ্রাহকদের জন্য আরও উন্নত পরিষেবা লেভেল অবজেক্টিভ (SLO) নিশ্চিত করতে হয়।

রেট লিমিট

সামগ্রিক ইন্ট্যার‍্যাক্টিভ ট্রাফিক রেট লিমিটের মধ্যে গণনা করা হলেও, অগ্রাধিকার ভিত্তিক ব্যবহারের নিজস্ব রেট লিমিট থাকে। অগ্রাধিকার-ভিত্তিক ইনফারেন্সের জন্য ডিফল্ট রেট সীমা হল মডেল / টিয়ারের জন্য স্ট্যান্ডার্ড রেট সীমার ০.৩ গুণ

সাবলীল ডাউনগ্রেড লজিক

কনজেশনের কারণে অগ্রাধিকারের সীমা অতিক্রম করা হলে, ওভারফ্লো অনুরোধগুলি 503 বা 429 এরর সহ ব্যর্থ হওয়ার পরিবর্তে স্ট্যান্ডার্ড প্রসেসিংয়ে অটোমেটিক এবং সুন্দরভাবে ডাউনগ্রেড করা হয়। ডাউনগ্রেড করা অনুরোধের জন্য স্ট্যান্ডার্ড রেট চার্জ করা হয়, প্রিমিয়াম অগ্রাধিকার রেট নয়।

ক্লায়েন্টের দায়িত্ব

• উত্তর মনিটর করা: অনুরোধ ঘন ঘন standard-এ ডাউনগ্রেড করা হচ্ছে কিনা তা শনাক্ত করতে, API উত্তরের x-gemini-service-tier হেডার ডেভেলপারদের মনিটর করতে হবে।
• আবার চেষ্টা করা: ক্লায়েন্টকে অবশ্যই সাধারণ সমস্যার জন্য আবার চেষ্টা করার লজিক/এক্সপোনেনশিয়াল ব্যাকঅফ প্রয়োগ করতে হবে, যেমন DEADLINE_EXCEEDED।

দাম

প্রিফিক্স ইনফারেন্সের দাম স্ট্যান্ডার্ড API-এর চেয়ে ৭৫-১০০% বেশি এবং টোকেন পিছু বিল করা হয়।

মানানসই মডেল

নিম্নলিখিত মডেলগুলি অগ্রাধিকার ভিত্তিক ইনফারেন্সের ক্ষেত্রে কাজ করে:

এর পরে কী করতে হবে

Gemini-র অন্যান্য ইনফারেন্স ও অপ্টিমাইজেশন বিকল্প সম্পর্কে পড়ুন:

• খরচ ৫০% কমানোর জন্য Flex inference।
• ২৪ ঘণ্টার মধ্যে অ্যাসিঙ্ক্রোনাস প্রসেসিংয়ের জন্য ব্যাচ API।
• ইনপুট টোকেনের খরচ কমাতে কন্টেক্সট ক্যাশিং।