অগ্রাধিকার সংক্রান্ত অনুমান

Gemini Priority API হল একটি প্রিমিয়াম ইনফারেন্স টিয়ার যা ব্যবসার জন্য গুরুত্বপূর্ণ ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। এটির জন্য প্রিমিয়াম প্রাইস পয়েন্টে কম লেটেন্সি এবং সর্বোচ্চ নির্ভরযোগ্যতা প্রয়োজন। সাধারণ API ও Flex টিয়ার ট্রাফিকের চেয়ে অগ্রাধিকার টিয়ার ট্রাফিককে বেশি অগ্রাধিকার দেওয়া হয়।

Interactions API এন্ডপয়েন্ট জুড়ে প্রায়োরিটি ইনফারেন্স উপলভ্য।

'অগ্রাধিকার' কীভাবে ব্যবহার করবেন

প্রায়োরিটি টিয়ার ব্যবহার করতে, আপনার অনুরোধে service_tier ফিল্ডটি priority-এ সেট করুন। ফিল্ডটি বাদ দেওয়া হলে ডিফল্ট টিয়ার স্ট্যান্ডার্ড হিসেবে সেট করা হয়।

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input="Triage this critical customer support ticket immediately.",
    service_tier='priority'
)
print(interaction.output_text)

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({});

async function main() {
    const interaction = await ai.interactions.create({
        model: "gemini-3.8-flash",
        input: "Triage this critical customer support ticket immediately.",
        service_tier: "priority"
    });
    console.log(interaction.output_text);
}

await main();

import com.google.genai.Client;
import com.google.genai.gaos.models.interactions.CreateModelInteraction;
import com.google.genai.gaos.models.interactions.Interaction;
import com.google.genai.gaos.models.interactions.InteractionsInput;
import com.google.genai.gaos.models.interactions.Model;
import com.google.genai.gaos.models.interactions.ServiceTier;
import com.google.genai.gaos.models.operations.CreateInteractionRequestBody;

Client client = new Client();

CreateModelInteraction params =
    CreateModelInteraction.builder()
        .model(Model.of("gemini-3.8-flash"))
        .input(InteractionsInput.of("Perform a priority inference task."))
        .serviceTier(ServiceTier.PRIORITY)
        .build();

Interaction interaction =
    client.interactions.create(CreateInteractionRequestBody.of(params)).interaction().get();

System.out.println(interaction.outputText().orElse(""));

package main

import (
    "context"
    "fmt"
    "log"

    "google.golang.org/genai"
    "google.golang.org/genai/interactions/models/interactions"
    "google.golang.org/genai/interactions/models/operations"
)

func main() {
    ctx := context.Background()
    client, err := genai.NewClient(ctx, nil)
    if err != nil {
        log.Fatal(err)
    }

    res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
        Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
            Model:       interactions.Model("gemini-3.8-flash"),
            Input:       interactions.NewInteractionsInput("Perform a priority inference task."),
            ServiceTier: interactions.ServiceTierPriority.ToPointer(),
        }),
    })
    if err != nil {
        log.Fatal(err)
    }
    if res.Interaction.OutputText != nil {
        fmt.Println(*res.Interaction.OutputText)
    }
}

curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "Content-Type: application/json" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -d '{
    "model": "gemini-3.8-flash",
    "input": "Triage this critical customer support ticket immediately.",
    "service_tier": "priority"
  }'

প্রায়োরিটি ইনফারেন্স কীভাবে কাজ করে

অগ্রাধিকার নির্ধারণ সংক্রান্ত ইনফারেন্স রুট, অত্যন্ত গুরুত্বপূর্ণ কম্পিউট কোয়েরিতে অনুরোধ পাঠায়, এর ফলে ব্যবহারকারী-কেন্দ্রিক অ্যাপ্লিকেশনের জন্য অনুমানযোগ্য, দ্রুত পারফর্ম্যান্স পাওয়া যায়। এর প্রাথমিক মেকানিজম হল, ডাইনামিক সীমা অতিক্রম করা ট্রাফিকের জন্য স্ট্যান্ডার্ড প্রসেসিংয়ে সার্ভার-সাইড ডাউনগ্রেড করা, যাতে অনুরোধ ব্যর্থ না হয়ে অ্যাপ্লিকেশন স্থিতিশীল থাকে।

প্রধান সুবিধা

• কম লেটেন্সি: ইন্টার‍্যাক্টিভ, ব্যবহারকারী নিজে ইন্টার‍্যাক্ট করতে পারেন এমন AI টুলের জন্য সেকেন্ড রেসপন্স টাইমের জন্য ডিজাইন করা হয়েছে।
• উচ্চ নির্ভরযোগ্যতা: ট্রাফিককে সর্বোচ্চ গুরুত্ব সহকারে বিবেচনা করা হয় এবং কঠোরভাবে নন-শেডেবল।
• গ্রেসফুল ডিগ্রেডেশন: ট্রাফিক স্পাইক ডায়নামিক সীমা অতিক্রম করলে, প্রসেস করার জন্য অটোমেটিক স্ট্যান্ডার্ড টিয়ারে ডাউনগ্রেড করা হয়, যাতে পরিষেবা বন্ধ না হয়।
• কম ফ্রিকশন: স্ট্যান্ডার্ড ও Flex টিয়ারের মতো একই সিঙ্ক্রোনাস create পদ্ধতি ব্যবহার করে।

যেসব ক্ষেত্রে ব্যবহার করা যাবে

ব্যবসার জন্য গুরুত্বপূর্ণ ওয়ার্কফ্লোয়ের ক্ষেত্রে প্রায়োরিটি প্রসেসিং আদর্শ, যেখানে পারফর্ম্যান্স ও নির্ভরযোগ্যতা সবচেয়ে গুরুত্বপূর্ণ।

• ইন্টার‍্যাক্টিভ AI অ্যাপ্লিকেশন: গ্রাহক পরিষেবা চ্যাটবট ও কোপাইলট যেখানে ব্যবহারকারীরা প্রিমিয়াম পেমেন্ট করেন এবং দ্রুত, ধারাবাহিক উত্তর আশা করেন।
• রিয়েল-টাইম সিদ্ধান্ত গ্রহণকারী ইঞ্জিন: লাইভ টিকিট ট্রায়াজ বা জালিয়াতি শনাক্তকরণের মতো অত্যন্ত নির্ভরযোগ্য, কম লেটেন্সি ফলাফল প্রয়োজন এমন সিস্টেম।
• প্রিমিয়াম গ্রাহক ফিচার: যেসব ডেভেলপারকে পেমেন্ট করা গ্রাহকদের জন্য আরও বেশি পরিষেবা স্তরের উদ্দেশ্য (SLO) গ্যারান্টি দিতে হয়।

রেট লিমিট

সামগ্রিক ইন্ট্যার‍্যাক্টিভ ট্রাফিক রেট লিমিটের মধ্যে গণনা করা হলেও, অগ্রাধিকার ভিত্তিক ব্যবহারের নিজস্ব রেট লিমিট থাকে। অগ্রাধিকার-ভিত্তিক ইনফারেন্সের জন্য ডিফল্ট রেট সীমা হল মডেল / টিয়ারের জন্য স্ট্যান্ডার্ড রেট সীমার ০.৩ গুণ

সাবলীল ডাউনগ্রেড লজিক

কনজেশন হওয়ার কারণে প্রায়োরিটি সীমা পেরিয়ে গেলে, ওভারফ্লো অনুরোধ 503 বা 429 সমস্যার কারণে ব্যর্থ হওয়ার পরিবর্তে স্ট্যান্ডার্ড প্রসেসিংয়ে অটোমেটিক ও সুন্দরভাবে ডাউনগ্রেড করা হয়। ডাউনগ্রেড করা অনুরোধের জন্য স্ট্যান্ডার্ড রেট চার্জ করা হয়, প্রিমিয়াম অগ্রাধিকার রেট নয়।

ক্লায়েন্টের দায়িত্ব

• উত্তর মনিটর করা: অনুরোধ ঘন ঘন standard-এ ডাউনগ্রেড করা হচ্ছে কিনা তা শনাক্ত করতে, API উত্তরের x-gemini-service-tier হেডার ডেভেলপারদের মনিটর করতে হবে।
• আবার চেষ্টা করা: ক্লায়েন্টকে অবশ্যই সাধারণ সমস্যার জন্য আবার চেষ্টা করার লজিক/এক্সপোনেনশিয়াল ব্যাকঅফ প্রয়োগ করতে হবে, যেমন DEADLINE_EXCEEDED।

দাম

প্রায়োরিটি ইনফারেন্সের দাম স্ট্যান্ডার্ড API-এর থেকে ৭৫-১০০% বেশি এবং টোকেন প্রতি বিল করা হয়।

যেসব মডেলে কাজ করে

নিম্নলিখিত মডেলগুলি প্রায়োরিটি ইনফারেন্স সাপোর্ট করে:

এর পরে কী করতে হবে

• খরচ কমানোর জন্য Flex inference।
• টোকেন: টোকেন সম্পর্কে জানুন।