কম্পিউটার ব্যবহার

কম্পিউটার ইউজ আপনাকে ব্রাউজার কন্ট্রোল এজেন্ট তৈরি করতে দেয় যা বিভিন্ন কাজের সাথে ইন্টারঅ্যাক্ট করে এবং সেগুলোকে স্বয়ংক্রিয় করে তোলে। স্ক্রিনশট ব্যবহার করে, মডেলটি একটি কম্পিউটার স্ক্রিন "দেখতে" পারে এবং মাউস ক্লিক ও কিবোর্ড ইনপুটের মতো নির্দিষ্ট UI অ্যাকশন তৈরি করে "কাজ" করতে পারে। ফাংশন কলিংয়ের মতোই, কম্পিউটার ইউজ অ্যাকশনগুলো গ্রহণ ও কার্যকর করার জন্য আপনাকে ক্লায়েন্ট-সাইড অ্যাপ্লিকেশন কোড লিখতে হবে।

কম্পিউটার ব্যবহারের মাধ্যমে আপনি এমন এজেন্ট তৈরি করতে পারেন যা:

• ওয়েবসাইটে পুনরাবৃত্তিমূলক ডেটা এন্ট্রি বা ফর্ম পূরণ স্বয়ংক্রিয় করুন।
• ওয়েব অ্যাপ্লিকেশন এবং ইউজার ফ্লো-এর স্বয়ংক্রিয় টেস্টিং সম্পাদন করুন
• বিভিন্ন ওয়েবসাইটে গবেষণা করুন (যেমন, কোনো কিছু কেনার সিদ্ধান্ত নেওয়ার জন্য ই-কমার্স সাইট থেকে পণ্যের তথ্য, দাম এবং রিভিউ সংগ্রহ করা)।

কম্পিউটার ব্যবহারের সক্ষমতা পরীক্ষা করার সবচেয়ে সহজ উপায় হলো রেফারেন্স ইমপ্লিমেন্টেশন অথবা ব্রাউজারবেস ডেমো এনভায়রনমেন্ট ব্যবহার করা।

কম্পিউটার ব্যবহার কীভাবে কাজ করে

কম্পিউটার ইউজ মডেল ব্যবহার করে একটি ব্রাউজার কন্ট্রোল এজেন্ট তৈরি করতে, এমন একটি এজেন্ট লুপ ইমপ্লিমেন্ট করুন যা নিম্নলিখিত কাজগুলো করে:

1. মডেলকে একটি অনুরোধ পাঠান

   • আপনার এপিআই অনুরোধে কম্পিউটার ব্যবহার টুল এবং ঐচ্ছিকভাবে যেকোনো কাস্টম ব্যবহারকারী-সংজ্ঞায়িত ফাংশন বা বর্জিত ফাংশন যোগ করুন।
   • ব্যবহারকারীর অনুরোধ অনুযায়ী কম্পিউটার ব্যবহার মডেলটি চালু করুন।

2. নমুনা প্রতিক্রিয়া গ্রহণ করুন

   • কম্পিউটার ইউজ মডেলটি ব্যবহারকারীর অনুরোধ এবং স্ক্রিনশট বিশ্লেষণ করে একটি প্রতিক্রিয়া তৈরি করে, যাতে একটি UI অ্যাকশনের প্রতিনিধিত্বকারী একটি প্রস্তাবিত function_call অন্তর্ভুক্ত থাকে (যেমন, "(x,y) স্থানাঙ্কে ক্লিক করুন" বা "'টেক্সট' টাইপ করুন")। কম্পিউটার ইউজ মডেল দ্বারা সমর্থিত সমস্ত UI অ্যাকশনের বিবরণের জন্য, সমর্থিত অ্যাকশনসমূহ (Supported actions ) দেখুন।
   • এপিআই প্রতিক্রিয়ায় একটি অভ্যন্তরীণ সুরক্ষা ব্যবস্থা থেকে একটি safety_decision অন্তর্ভুক্ত থাকতে পারে, যা মডেলের প্রস্তাবিত পদক্ষেপটি যাচাই করে। এই safety_decision পদক্ষেপটিকে নিম্নোক্তভাবে শ্রেণীবদ্ধ করে:
     • নিয়মিত / অনুমোদিত: কাজটি নিরাপদ বলে বিবেচিত হয়। কোনো safety_decision উপস্থিত না থাকার মাধ্যমেও এটি বোঝানো হতে পারে।
     • নিশ্চিতকরণের প্রয়োজন ( require_confirmation ): মডেলটি এমন একটি কাজ করতে চলেছে যা ঝুঁকিপূর্ণ হতে পারে (যেমন, "কুকি গ্রহণ করুন ব্যানারে" ক্লিক করা)।

3. প্রাপ্ত কাজটি সম্পাদন করুন

   • আপনার ক্লায়েন্ট-সাইড কোড function_call এবং এর সাথে থাকা safety_decision গ্রহণ করে।
     • সাধারণ / অনুমোদিত: যদি safety_decision টি সাধারণ / অনুমোদিত নির্দেশ করে (অথবা যদি কোনো safety_decision উপস্থিত না থাকে), তাহলে আপনার ক্লায়েন্ট-সাইড কোড আপনার টার্গেট পরিবেশে (যেমন, একটি ওয়েব ব্রাউজার) নির্দিষ্ট function_call সম্পাদন করতে পারবে।
     • নিশ্চিতকরণের প্রয়োজন: যদি safety_decision এ 'নিশ্চিতকরণের প্রয়োজন' উল্লেখ থাকে, তাহলে আপনার অ্যাপ্লিকেশনকে function_call কার্যকর করার আগে ব্যবহারকারীর কাছে নিশ্চিতকরণের জন্য অনুরোধ করতে হবে। ব্যবহারকারী নিশ্চিত করলে, কাজটি সম্পাদন করুন। ব্যবহারকারী অসম্মত করলে, কাজটি সম্পাদন করবেন না।

4. নতুন পরিবেশের অবস্থা ধারণ করুন

   • অ্যাকশনটি সম্পাদিত হলে, আপনার ক্লায়েন্ট GUI-এর একটি নতুন স্ক্রিনশট এবং বর্তমান URL ক্যাপচার করে, যা একটি function_result এর অংশ হিসেবে Computer Use মডেলে ফেরত পাঠানো হয়।
   • যদি নিরাপত্তা ব্যবস্থার কারণে কোনো কাজ বাধাগ্রস্ত হয় অথবা ব্যবহারকারী তার অনুমোদন না দেন, তাহলে আপনার অ্যাপ্লিকেশনটি মডেলকে ভিন্ন ধরনের ফিডব্যাক পাঠাতে পারে অথবা ইন্টারঅ্যাকশনটি শেষ করে দিতে পারে।

এই প্রক্রিয়াটি ধাপ ২ থেকে পুনরাবৃত্তি হয়, যেখানে মডেলটি নতুন স্ক্রিনশট এবং চলমান লক্ষ্য ব্যবহার করে পরবর্তী পদক্ষেপের পরামর্শ দেয়। এই চক্রটি ততক্ষণ চলতে থাকে যতক্ষণ না কাজটি সম্পন্ন হয়, কোনো ত্রুটি ঘটে, অথবা প্রক্রিয়াটি বন্ধ হয়ে যায় (যেমন, কোনো 'ব্লক' সুরক্ষা প্রতিক্রিয়া বা ব্যবহারকারীর সিদ্ধান্তের কারণে)।

কম্পিউটার ব্যবহার কীভাবে বাস্তবায়ন করবেন

কম্পিউটার ব্যবহার টুল দিয়ে বিল্ড করার আগে আপনাকে নিম্নলিখিত বিষয়গুলো সেট আপ করতে হবে:

• নিরাপদ নির্বাহ পরিবেশ: নিরাপত্তার কারণে, আপনার কম্পিউটার ইউজ এজেন্টকে একটি নিরাপদ এবং নিয়ন্ত্রিত পরিবেশে (যেমন, একটি স্যান্ডবক্সড ভার্চুয়াল মেশিন, একটি কন্টেইনার, অথবা সীমিত অনুমতিসহ একটি ডেডিকেটেড ব্রাউজার প্রোফাইল) চালানো উচিত।
• ক্লায়েন্ট-সাইড অ্যাকশন হ্যান্ডলার: মডেল দ্বারা তৈরি অ্যাকশনগুলো সম্পাদন করতে এবং প্রতিটি অ্যাকশনের পরে পরিবেশের স্ক্রিনশট ক্যাপচার করতে আপনাকে ক্লায়েন্ট-সাইড লজিক প্রয়োগ করতে হবে।

এই বিভাগের উদাহরণগুলিতে এক্সিকিউশন এনভায়রনমেন্ট হিসেবে একটি ব্রাউজার এবং ক্লায়েন্ট-সাইড অ্যাকশন হ্যান্ডলার হিসেবে প্লেরাইট (Playwright) ব্যবহার করা হয়েছে। এই স্যাম্পলগুলি চালানোর জন্য আপনাকে প্রয়োজনীয় ডিপেন্ডেন্সিগুলি ইনস্টল করতে হবে এবং একটি প্লেরাইট ব্রাউজার ইনস্ট্যান্স ইনিশিয়ালাইজ করতে হবে।

    pip install google-genai playwright
    playwright install chromium
    

    from playwright.sync_api import sync_playwright

    # 1. Configure screen dimensions for the target environment
    SCREEN_WIDTH = 1440
    SCREEN_HEIGHT = 900

    # 2. Start the Playwright browser
    # In production, utilize a sandboxed environment.
    playwright = sync_playwright().start()
    # Set headless=False to see the actions performed on your screen
    browser = playwright.chromium.launch(headless=False)

    # 3. Create a context and page with the specified dimensions
    context = browser.new_context(
        viewport={"width": SCREEN_WIDTH, "height": SCREEN_HEIGHT}
    )
    page = context.new_page()

    # 4. Navigate to an initial page to start the task
    page.goto("https://www.google.com")

    # The 'page', 'SCREEN_WIDTH', and 'SCREEN_HEIGHT' variables
    # will be used in the steps below.
    

অ্যান্ড্রয়েড পরিবেশে সম্প্রসারণের জন্য নমুনা কোড ' কাস্টম ব্যবহারকারী-সংজ্ঞায়িত ফাংশন ব্যবহার' বিভাগে অন্তর্ভুক্ত করা হয়েছে।

১. মডেলকে একটি অনুরোধ পাঠান

আপনার API অনুরোধে কম্পিউটার ইউজ টুলটি যোগ করুন এবং ব্যবহারকারীর লক্ষ্য অন্তর্ভুক্ত মডেলটিতে একটি প্রম্পট পাঠান। আপনাকে অবশ্যই কম্পিউটার ইউজ দ্বারা সমর্থিত মডেলগুলির মধ্যে একটি ব্যবহার করতে হবে, অন্যথায় আপনি একটি ত্রুটি পাবেন:

• gemini-2.5-computer-use-preview-10-2025
• gemini-3-flash-preview

আপনি চাইলে নিম্নলিখিত প্যারামিটারগুলোও যোগ করতে পারেন:

• বর্জিত ক্রিয়াকলাপ: সমর্থিত UI ক্রিয়াকলাপের তালিকা থেকে যদি এমন কোনো ক্রিয়াকলাপ থাকে যা আপনি মডেলটি দ্বারা সম্পাদন করতে চান না, তাহলে সেই ক্রিয়াকলাপগুলিকে excluded_predefined_functions হিসাবে নির্দিষ্ট করুন।
• ব্যবহারকারী-সংজ্ঞায়িত ফাংশন: কম্পিউটার ব্যবহার টুলের পাশাপাশি, আপনি নিজস্ব ব্যবহারকারী-সংজ্ঞায়িত ফাংশনও অন্তর্ভুক্ত করতে চাইতে পারেন।

উল্লেখ্য যে, অনুরোধ জানানোর সময় ডিসপ্লে সাইজ নির্দিষ্ট করার প্রয়োজন নেই; মডেলটি স্ক্রিনের উচ্চতা ও প্রস্থ অনুযায়ী পিক্সেল স্থানাঙ্ক অনুমান করে।

from google import genai

client = genai.Client()

# Specify predefined functions to exclude (optional)
excluded_functions = ["drag_and_drop"]

interaction = client.interactions.create(
    model='gemini-2.5-computer-use-preview-10-2025',
    input="Search for highly rated smart fridges with touchscreen, 2 doors, around 25 cu ft, priced below 4000 dollars on Google Shopping. Create a bulleted list of the 3 cheapest options in the format of name, description, price in an easy-to-read layout.",
    tools=[
        {
            "type": "computer_use",
            "environment": "browser",
            "excluded_predefined_functions": excluded_functions
        }
    ]
)

print(interaction)

কাস্টম ফাংশনের একটি উদাহরণের জন্য, “কাস্টম ব্যবহারকারী-সংজ্ঞায়িত ফাংশন ব্যবহার” দেখুন।

২. নমুনা প্রতিক্রিয়া গ্রহণ করুন

যখন কম্পিউটার ইউজ টুলটি সক্রিয় করা হয়, তখন মডেলটি যদি নির্ধারণ করে যে কাজটি সম্পন্ন করার জন্য UI অ্যাকশনের প্রয়োজন, তবে এটি এক বা একাধিক function_call স্টেপের মাধ্যমে সাড়া দেবে। কম্পিউটার ইউজ প্যারালাল ফাংশন কলিং সমর্থন করে, যার অর্থ হলো মডেলটি একটি টার্নেই একাধিক অ্যাকশন রিটার্ন করতে পারে।

এখানে একটি নমুনা উত্তর দেওয়া হলো।

{
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I will type the search query into the search bar. The search bar is in the center of the page."
        }
      ]
    },
    {
      "type": "function_call",
      "name": "type_text_at",
      "arguments": {
        "x": 371,
        "y": 470,
        "text": "highly rated smart fridges with touchscreen, 2 doors, around 25 cu ft, priced below 4000 dollars on Google Shopping",
        "press_enter": true
      }
    }
  ]
}

৩. প্রাপ্ত পদক্ষেপগুলো সম্পাদন করুন

আপনার অ্যাপ্লিকেশন কোডকে মডেল রেসপন্স পার্স করতে, অ্যাকশনগুলো সম্পাদন করতে এবং ফলাফল সংগ্রহ করতে হবে।

নিম্নলিখিত উদাহরণ কোডটি 'Computer Use' মডেলের প্রতিক্রিয়া থেকে ফাংশন কলগুলো বের করে এবং সেগুলোকে এমন অ্যাকশনে রূপান্তরিত করে যা 'Playwright' দিয়ে চালানো যায়। মডেলটি ইনপুট ছবির মাত্রা নির্বিশেষে নর্মালাইজড স্থানাঙ্ক (০-৯৯৯) আউটপুট দেয়, তাই অনুবাদ ধাপের একটি অংশ হলো এই নর্মালাইজড স্থানাঙ্কগুলোকে আবার প্রকৃত পিক্সেল মানে রূপান্তর করা।

কম্পিউটার ব্যবহারের মডেলটির জন্য প্রস্তাবিত স্ক্রিন সাইজ হলো (1440, 900)। মডেলটি যেকোনো রেজোলিউশনেই কাজ করবে, তবে সেক্ষেত্রে ফলাফলের গুণমান প্রভাবিত হতে পারে।

উল্লেখ্য যে, এই উদাহরণটিতে শুধুমাত্র সবচেয়ে প্রচলিত ৩টি UI অ্যাকশন— open_web_browser , click_at , এবং type_text_at এর ইমপ্লিমেন্টেশন অন্তর্ভুক্ত করা হয়েছে। প্রোডাকশন ব্যবহারের ক্ষেত্রে, আপনাকে Supported actions তালিকা থেকে অন্য সব UI অ্যাকশন ইমপ্লিমেন্ট করতে হবে, যদি না আপনি সেগুলোকে excluded_predefined_functions হিসেবে স্পষ্টভাবে যোগ করেন।

from typing import Any, List, Tuple
import time

def denormalize_x(x: int, screen_width: int) -> int:
    """Convert normalized x coordinate (0-1000) to actual pixel coordinate."""
    return int(x / 1000 * screen_width)

def denormalize_y(y: int, screen_height: int) -> int:
    """Convert normalized y coordinate (0-1000) to actual pixel coordinate."""
    return int(y / 1000 * screen_height)

def execute_function_calls(interaction, page, screen_width, screen_height):
    results = []
    function_calls = [
        step for step in interaction.steps if step.type == "function_call"
    ]

    for function_call in function_calls:
        action_result = {}
        fname = function_call.name
        args = function_call.arguments
        print(f"  -> Executing: {fname}")

        try:
            if fname == "open_web_browser":
                pass # Already open
            elif fname == "click_at":
                actual_x = denormalize_x(args["x"], screen_width)
                actual_y = denormalize_y(args["y"], screen_height)
                page.mouse.click(actual_x, actual_y)
            elif fname == "type_text_at":
                actual_x = denormalize_x(args["x"], screen_width)
                actual_y = denormalize_y(args["y"], screen_height)
                text = args["text"]
                press_enter = args.get("press_enter", False)

                page.mouse.click(actual_x, actual_y)
                # Simple clear (Command+A, Backspace for Mac)
                page.keyboard.press("Meta+A")
                page.keyboard.press("Backspace")
                page.keyboard.type(text)
                if press_enter:
                    page.keyboard.press("Enter")
            else:
                print(f"Warning: Unimplemented or custom function {fname}")

            # Wait for potential navigations/renders
            page.wait_for_load_state(timeout=5000)
            time.sleep(1)

        except Exception as e:
            print(f"Error executing {fname}: {e}")
            action_result = {"error": str(e)}

        results.append((fname, function_call.id, action_result))

    return results

৪. নতুন পরিবেশের অবস্থা ধারণ করুন

অ্যাকশনগুলো সম্পাদন করার পর, ফাংশন সম্পাদনের ফলাফলটি মডেলে ফেরত পাঠান, যাতে এটি পরবর্তী অ্যাকশন তৈরি করার জন্য এই তথ্য ব্যবহার করতে পারে। যদি একাধিক অ্যাকশন (সমান্তরাল কল) সম্পাদিত হয়ে থাকে, তবে পরবর্তী ব্যবহারকারীর পালায় আপনাকে অবশ্যই প্রতিটির জন্য একটি function_result পাঠাতে হবে।

import json
import base64

def get_function_responses(page, results):
    screenshot_bytes = page.screenshot(type="png")
    current_url = page.url
    function_responses = []
    for name, call_id, result in results:
        function_responses.append({
            "type": "function_result",
            "name": name,
            "call_id": call_id,
            "result": [
                {
                    "type": "text",
                    "text": json.dumps({"url": current_url, **result})
                },
                {
                    "type": "image",
                    "data": base64.b64encode(screenshot_bytes).decode("utf-8"),
                    "mime_type": "image/png"
                }
            ]
        })
    return function_responses

একটি এজেন্ট লুপ তৈরি করুন

একাধিক ধাপের মিথস্ক্রিয়া সক্ষম করতে, 'কম্পিউটার ব্যবহার কীভাবে প্রয়োগ করবেন' বিভাগের চারটি ধাপকে একটি লুপের মধ্যে একত্রিত করুন। মডেল প্রতিক্রিয়া এবং আপনার ফাংশন প্রতিক্রিয়া উভয়ই যুক্ত করে কথোপকথনের ইতিহাস সঠিকভাবে পরিচালনা করতে মনে রাখবেন।

এই কোড নমুনাটি চালানোর জন্য আপনাকে যা করতে হবে:

• প্লেরাইটের প্রয়োজনীয় নির্ভরতাগুলো ইনস্টল করুন।

• ধাপ (3) প্রাপ্ত ক্রিয়াগুলি সম্পাদন করুন এবং (4) নতুন পরিবেশের অবস্থা ক্যাপচার করুন থেকে সহায়ক ফাংশনগুলি সংজ্ঞায়িত করুন।

import time
from typing import Any, List, Tuple
from playwright.sync_api import sync_playwright

from google import genai

client = genai.Client()

# Constants for screen dimensions
SCREEN_WIDTH = 1440
SCREEN_HEIGHT = 900

# Setup Playwright
print("Initializing browser...")
playwright = sync_playwright().start()
browser = playwright.chromium.launch(headless=False)
context = browser.new_context(viewport={"width": SCREEN_WIDTH, "height": SCREEN_HEIGHT})
page = context.new_page()

# Define helper functions. Copy/paste from steps 3 and 4
# def denormalize_x(...)
# def denormalize_y(...)
# def execute_function_calls(...)
# def get_function_responses(...)

try:
    # Go to initial page
    page.goto("https://ai.google.dev/gemini-api/docs")

    # Take initial screenshot
    initial_screenshot = page.screenshot(type="png")
    USER_PROMPT = "Go to ai.google.dev/gemini-api/docs and search for pricing."
    print(f"Goal: {USER_PROMPT}")

    # First interaction
    interaction = client.interactions.create(
        model='gemini-2.5-computer-use-preview-10-2025',
        input=[
            {"type": "text", "text": USER_PROMPT},
            {"type": "image", "data": base64.b64encode(initial_screenshot).decode("utf-8"), "mime_type": "image/png"}
        ],
        tools=[{
            "type": "computer_use",
            "environment": "browser"
        }]
    )

    # Agent Loop
    turn_limit = 5
    for i in range(turn_limit):
        print(f"\n--- Turn {i+1} ---")

        has_function_calls = any(
            step.type == "function_call"
            for step in interaction.steps
        )
        if not has_function_calls:
            text_response = " ".join([
                content_block.text for step in interaction.steps if step.type == "model_output"
                for content_block in step.content if content_block.type == "text"
            ])
            print("Agent finished:", text_response)
            break

        print("Executing actions...")
        results = execute_function_calls(interaction, page, SCREEN_WIDTH, SCREEN_HEIGHT)

        print("Capturing state...")
        function_responses = get_function_responses(page, results)

        # Continue conversation with function responses
        interaction = client.interactions.create(
            model='gemini-2.5-computer-use-preview-10-2025',
            previous_interaction_id=interaction.id,
            input=function_responses,
            tools=[{
                "type": "computer_use",
                "environment": "browser"
            }]
        )

finally:
    # Cleanup
    print("\nClosing browser...")
    browser.close()
    playwright.stop()

কাস্টম ব্যবহারকারী-সংজ্ঞায়িত ফাংশন ব্যবহার করে

মডেলের কার্যকারিতা বাড়ানোর জন্য আপনি ঐচ্ছিকভাবে আপনার অনুরোধে কাস্টম ব্যবহারকারী-সংজ্ঞায়িত ফাংশন অন্তর্ভুক্ত করতে পারেন। নিম্নলিখিত উদাহরণটি ব্রাউজার-নির্দিষ্ট অ্যাকশন বাদ open_app , long_press_at , এবং go_home এর মতো কাস্টম ব্যবহারকারী-সংজ্ঞায়িত অ্যাকশন অন্তর্ভুক্ত করার মাধ্যমে কম্পিউটার ইউজ মডেল এবং টুলটিকে মোবাইল ব্যবহারের জন্য অভিযোজিত করে। মডেলটি ব্রাউজার-বহির্ভূত পরিবেশে কাজ সম্পন্ন করার জন্য সাধারণ UI অ্যাকশনগুলোর পাশাপাশি এই কাস্টম ফাংশনগুলোকে বুদ্ধিমত্তার সাথে কল করতে পারে।

from typing import Optional, Dict, Any

from google import genai

client = genai.Client()

SYSTEM_PROMPT = """You are operating an Android phone. Today's date is October 15, 2023, so ignore any other date provided.
* To provide an answer to the user, *do not use any tools* and output your answer on a separate line. IMPORTANT: Do not add any formatting or additional punctuation/text, just output the answer by itself after two empty lines.
* Make sure you scroll down to see everything before deciding something isn't available.
* You can open an app from anywhere. The icon doesn't have to currently be on screen.
* Unless explicitly told otherwise, make sure to save any changes you make.
* If text is cut off or incomplete, scroll or click into the element to get the full text before providing an answer.
* IMPORTANT: Complete the given task EXACTLY as stated. DO NOT make any assumptions that completing a similar task is correct.  If you can't find what you're looking for, SCROLL to find it.
* If you want to edit some text, ONLY USE THE `type` tool. Do not use the onscreen keyboard.
* Quick settings shouldn't be used to change settings. Use the Settings app instead.
* The given task may already be completed. If so, there is no need to do anything.
"""

# Custom function definitions for mobile
custom_functions = [
    {
        "type": "function",
        "name": "open_app",
        "description": "Opens an app by name.",
        "parameters": {
            "type": "object",
            "properties": {
                "app_name": {"type": "string", "description": "Name of the app to open"},
                "intent": {"type": "string", "description": "Optional deep-link or action"}
            },
            "required": ["app_name"]
        }
    },
    {
        "type": "function",
        "name": "long_press_at",
        "description": "Long-press at a specific screen coordinate.",
        "parameters": {
            "type": "object",
            "properties": {
                "x": {"type": "integer", "description": "X coordinate"},
                "y": {"type": "integer", "description": "Y coordinate"}
            },
            "required": ["x", "y"]
        }
    },
    {
        "type": "function",
        "name": "go_home",
        "description": "Navigates to the device home screen.",
        "parameters": {"type": "object", "properties": {}}
    }
]

# Exclude browser-specific functions
excluded_functions = [
    "open_web_browser",
    "search",
    "navigate",
    "hover_at",
    "scroll_document",
    "go_forward",
    "key_combination",
    "drag_and_drop",
]

interaction = client.interactions.create(
    model='gemini-2.5-computer-use-preview-10-2025',
    system_instruction=SYSTEM_PROMPT,
    input="Open Chrome, then long-press at 200,400.",
    tools=[
        {
            "type": "computer_use",
            "environment": "browser",
            "excluded_predefined_functions": excluded_functions
        },
        *custom_functions
    ]
)

print(interaction)

সমর্থিত UI ক্রিয়াকলাপগুলি

মডেলটি একটি function_call ব্যবহার করে নিম্নলিখিত UI অ্যাকশনগুলোর জন্য অনুরোধ করতে পারে। আপনার ক্লায়েন্ট-সাইড কোডে অবশ্যই এই অ্যাকশনগুলোর এক্সিকিউশন লজিক প্রয়োগ করতে হবে। উদাহরণের জন্য রেফারেন্স ইমপ্লিমেন্টেশনটি দেখুন।

নিরাপত্তা ও সুরক্ষা

নিরাপত্তা সিদ্ধান্ত স্বীকার করুন

ক্রিয়ার ধরনের ওপর নির্ভর করে, মডেলের প্রতিক্রিয়ার মধ্যে একটি অভ্যন্তরীণ সুরক্ষা ব্যবস্থার safety_decision অন্তর্ভুক্ত থাকতে পারে, যা মডেলের প্রস্তাবিত ক্রিয়াটি যাচাই করে।

{
  "steps": [
    {
      "type": "model_output",
      "content": [
        {
          "type": "text",
          "text": "I have evaluated step 2. It seems Google detected unusual traffic and is asking me to verify I'm not a robot. I need to click the 'I'm not a robot' checkbox located near the top left (y=98, x=95)."
        }
      ]
    },
    {
      "type": "function_call",
      "name": "click_at",
      "arguments": {
        "x": 60,
        "y": 100,
        "safety_decision": {
          "explanation": "I have encountered a CAPTCHA challenge that requires interaction. I need you to complete the challenge by clicking the 'I'm not a robot' checkbox and any subsequent verification steps.",
          "decision": "require_confirmation"
        }
      }
    }
  ]
}

যদি safety_decision টি require_confirmation হয়, তাহলে কাজটি সম্পাদন করার আগে আপনাকে অবশ্যই ব্যবহারকারীর কাছে নিশ্চিতকরণের জন্য অনুরোধ করতে হবে। পরিষেবার শর্তাবলী অনুসারে, ব্যবহারকারীর নিশ্চিতকরণের অনুরোধ এড়িয়ে যাওয়ার অনুমতি আপনার নেই।

এই কোড নমুনাটি কাজটি সম্পাদন করার আগে ব্যবহারকারীর কাছে নিশ্চিতকরণের জন্য অনুরোধ করে। যদি ব্যবহারকারী কাজটি নিশ্চিত না করেন, তাহলে লুপটি বন্ধ হয়ে যায়। আর যদি ব্যবহারকারী কাজটি নিশ্চিত করেন, তাহলে কাজটি সম্পাদিত হয় এবং safety_acknowledgement ফিল্ডটিকে True হিসেবে চিহ্নিত করা হয়।

import termcolor

def get_safety_confirmation(safety_decision):
    """Prompt user for confirmation when safety check is triggered."""
    termcolor.cprint("Safety service requires explicit confirmation!", color="red")
    print(safety_decision["explanation"])

    decision = ""
    while decision.lower() not in ("y", "n", "ye", "yes", "no"):
        decision = input("Do you wish to proceed? [Y]es/[N]o\n")

    if decision.lower() in ("n", "no"):
        return "TERMINATE"
    return "CONTINUE"

def execute_function_calls(interaction, page, screen_width, screen_height):

    # ... Extract function calls from response ...

    for function_call in function_calls:
        extra_fr_fields = {}

        # Check for safety decision
        if 'safety_decision' in function_call.arguments:
            decision = get_safety_confirmation(function_call.arguments['safety_decision'])
            if decision == "TERMINATE":
                print("Terminating agent loop")
                break
            extra_fr_fields["safety_acknowledgement"] = True # Safety acknowledgement

        # ... Execute function call and append to results ...

যদি ব্যবহারকারী নিশ্চিত করেন, তাহলে আপনাকে অবশ্যই আপনার function_result এ নিরাপত্তা স্বীকৃতিটি অন্তর্ভুক্ত করতে হবে।

```python
function_responses.append({
    "type": "function_result",
    "name": name,
    "call_id": function_call.id,
    "result": [
        {
            "type": "text",
            "text": json.dumps({
                "url": current_url,
                "safety_acknowledgement": True,
                **extra_fr_fields
            })
        },
        {
            "type": "image",
            "data": base64.b64encode(screenshot_bytes).decode("utf-8"),
            "mime_type": "image/png"
        }
    ]
})
```

নিরাপত্তার সর্বোত্তম অনুশীলন

কম্পিউটারের ব্যবহার একটি নতুন সরঞ্জাম যা এমন কিছু নতুন ঝুঁকি নিয়ে আসে, যেগুলোর ব্যাপারে ডেভেলপারদের সচেতন থাকা উচিত:

• অবিশ্বস্ত বিষয়বস্তু ও প্রতারণা: মডেল যখন ব্যবহারকারীর লক্ষ্য পূরণের চেষ্টা করে, তখন সে তথ্যের অবিশ্বস্ত উৎস এবং স্ক্রিন থেকে পাওয়া নির্দেশাবলীর উপর নির্ভর করতে পারে। উদাহরণস্বরূপ, যদি ব্যবহারকারীর লক্ষ্য একটি পিক্সেল ফোন কেনা হয় এবং মডেল "একটি সমীক্ষা সম্পূর্ণ করলে বিনামূল্যে পিক্সেল" জাতীয় কোনো প্রতারণার সম্মুখীন হয়, তাহলে তার সমীক্ষাটি সম্পূর্ণ করার একটি সম্ভাবনা থাকে।
• মাঝেমধ্যে অনিচ্ছাকৃত কার্যকলাপ: মডেলটি ব্যবহারকারীর উদ্দেশ্য বা ওয়েবপেজের বিষয়বস্তু ভুলভাবে বুঝতে পারে, যার ফলে এটি ভুল বোতামে ক্লিক করা বা ভুল ফর্ম পূরণ করার মতো ভুল পদক্ষেপ নিতে পারে। এর ফলে বিভিন্ন কাজ ব্যর্থ হতে পারে বা ডেটা পাচার হতে পারে।
• নীতিমালা লঙ্ঘন: এপিআই-এর সক্ষমতা ইচ্ছাকৃত বা অনিচ্ছাকৃতভাবে এমন কার্যকলাপের দিকে পরিচালিত হতে পারে যা গুগলের নীতিমালা ( জেন এআই নিষিদ্ধ ব্যবহার নীতিমালা এবং জেমিনি এপিআই অতিরিক্ত পরিষেবার শর্তাবলী ) লঙ্ঘন করে। এর মধ্যে এমন সব কাজ অন্তর্ভুক্ত যা কোনো সিস্টেমের অখণ্ডতায় হস্তক্ষেপ করতে পারে, নিরাপত্তা বিঘ্নিত করতে পারে, নিরাপত্তা ব্যবস্থা এড়িয়ে যেতে পারে, চিকিৎসা সরঞ্জাম নিয়ন্ত্রণ করতে পারে, ইত্যাদি।

এই ঝুঁকিগুলো মোকাবেলা করার জন্য, আপনি নিম্নলিখিত নিরাপত্তা ব্যবস্থা ও সর্বোত্তম অনুশীলনগুলো বাস্তবায়ন করতে পারেন:

1. হিউম্যান-ইন-দ্য-লুপ (HITL):

   • ব্যবহারকারীর নিশ্চিতকরণ বাস্তবায়ন করুন: যখন সেফটি রেসপন্সে require_confirmation নির্দেশ করা থাকে, তখন এক্সিকিউশনের আগে আপনাকে অবশ্যই ব্যবহারকারীর নিশ্চিতকরণ বাস্তবায়ন করতে হবে। নমুনা কোডের জন্য `Acknowledge safety decision` দেখুন।

   • কাস্টম নিরাপত্তা নির্দেশাবলী প্রদান করুন: অন্তর্নির্মিত ব্যবহারকারী নিশ্চিতকরণ যাচাইয়ের পাশাপাশি, ডেভেলপাররা ঐচ্ছিকভাবে একটি কাস্টম সিস্টেম নির্দেশাবলী যোগ করতে পারেন যা তাদের নিজস্ব নিরাপত্তা নীতি প্রয়োগ করে। এর মাধ্যমে মডেলের নির্দিষ্ট কিছু কার্যকলাপ ব্লক করা যায় অথবা মডেল কর্তৃক কিছু উচ্চ-ঝুঁকিপূর্ণ অপরিবর্তনীয় পদক্ষেপ নেওয়ার আগে ব্যবহারকারীর নিশ্চিতকরণ আবশ্যক করা যায়। মডেলের সাথে ইন্টারঅ্যাক্ট করার সময় আপনি অন্তর্ভুক্ত করতে পারেন এমন একটি কাস্টম নিরাপত্তা সিস্টেম নির্দেশাবলীর উদাহরণ নিচে দেওয়া হলো।

     নিরাপত্তা নির্দেশাবলীর উদাহরণ

     আপনার নিজস্ব নিরাপত্তা নিয়মাবলী একটি সিস্টেম নির্দেশনা হিসেবে সেট করুন:

         ## **RULE 1: Seek User Confirmation (USER_CONFIRMATION)**
     
         This is your first and most important check. If the next required action falls
         into any of the following categories, you MUST stop immediately, and seek the
         user's explicit permission.
     
         **Procedure for Seeking Confirmation:**  * **For Consequential Actions:**
         Perform all preparatory steps (e.g., navigating, filling out forms, typing a
         message). You will ask for confirmation **AFTER** all necessary information is
         entered on the screen, but **BEFORE** you perform the final, irreversible action
         (e.g., before clicking "Send", "Submit", "Confirm Purchase", "Share").  * **For
         Prohibited Actions:** If the action is strictly forbidden (e.g., accepting legal
         terms, solving a CAPTCHA), you must first inform the user about the required
         action and ask for their confirmation to proceed.
     
         **USER_CONFIRMATION Categories:**
     
         *   **Consent and Agreements:** You are FORBIDDEN from accepting, selecting, or
             agreeing to any of the following on the user's behalf. You must ask the
             user to confirm before performing these actions.
             *   Terms of Service
             *   Privacy Policies
             *   Cookie consent banners
             *   End User License Agreements (EULAs)
             *   Any other legally significant contracts or agreements.
         *   **Robot Detection:** You MUST NEVER attempt to solve or bypass the
             following. You must ask the user to confirm before performing these actions.
         *   CAPTCHAs (of any kind)
             *   Any other anti-robot or human-verification mechanisms, even if you are
                 capable.
         *   **Financial Transactions:**
             *   Completing any purchase.
             *   Managing or moving money (e.g., transfers, payments).
             *   Purchasing regulated goods or participating in gambling.
         *   **Sending Communications:**
             *   Sending emails.
             *   Sending messages on any platform (e.g., social media, chat apps).
             *   Posting content on social media or forums.
         *   **Accessing or Modifying Sensitive Information:**
             *   Health, financial, or government records (e.g., medical history, tax
                 forms, passport status).
             *   Revealing or modifying sensitive personal identifiers (e.g., SSN, bank
                 account number, credit card number).
         *   **User Data Management:**
             *   Accessing, downloading, or saving files from the web.
             *   Sharing or sending files/data to any third party.
             *   Transferring user data between systems.
         *   **Browser Data Usage:**
             *   Accessing or managing Chrome browsing history, bookmarks, autofill data,
                 or saved passwords.
         *   **Security and Identity:**
             *   Logging into any user account.
             *   Any action that involves misrepresentation or impersonation (e.g.,
                 creating a fan account, posting as someone else).
         *   **Insurmountable Obstacles:** If you are technically unable to interact with
             a user interface element or are stuck in a loop you cannot resolve, ask the
             user to take over.
         ---
     
         ## **RULE 2: Default Behavior (ACTUATE)**
     
         If an action does **NOT** fall under the conditions for `USER_CONFIRMATION`,
         your default behavior is to **Actuate**.
     
         **Actuation Means:**  You MUST proactively perform all necessary steps to move
         the user's request forward. Continue to actuate until you either complete the
         non-consequential task or encounter a condition defined in Rule 1.
     
         *   **Example 1:** If asked to send money, you will navigate to the payment
             portal, enter the recipient's details, and enter the amount. You will then
             **STOP** as per Rule 1 and ask for confirmation before clicking the final
             "Send" button.
         *   **Example 2:** If asked to post a message, you will navigate to the site,
             open the post composition window, and write the full message. You will then
             **STOP** as per Rule 1 and ask for confirmation before clicking the final
             "Post" button.
     
             After the user has confirmed, remember to get the user's latest screen
             before continuing to perform actions.
     
         # Final Response Guidelines:
         Write final response to the user in the following cases:
         - User confirmation
         - When the task is complete or you have enough information to respond to the user
         

2. নিরাপদ নির্বাহ পরিবেশ: আপনার এজেন্টের সম্ভাব্য প্রভাব সীমিত করতে এটিকে একটি নিরাপদ, স্যান্ডবক্সযুক্ত পরিবেশে চালান (যেমন, একটি স্যান্ডবক্সযুক্ত ভার্চুয়াল মেশিন (VM), একটি কন্টেইনার (যেমন, ডকার), অথবা সীমিত অনুমতিসহ একটি ডেডিকেটেড ব্রাউজার প্রোফাইল)।

3. ইনপুট স্যানিটাইজেশন: অনাকাঙ্ক্ষিত নির্দেশনা বা প্রম্পট ইনজেকশনের ঝুঁকি কমাতে প্রম্পটে থাকা ব্যবহারকারী-সৃষ্ট সমস্ত টেক্সট স্যানিটাইজ করুন। এটি নিরাপত্তার একটি সহায়ক স্তর, কিন্তু একটি সুরক্ষিত এক্সিকিউশন এনভায়রনমেন্টের বিকল্প নয়।

4. কন্টেন্ট গার্ডরেল: ব্যবহারকারীর ইনপুট, টুলের ইনপুট ও আউটপুট, এজেন্টের প্রতিক্রিয়ার উপযুক্ততা মূল্যায়ন, প্রম্পট ইনজেকশন এবং জেলব্রেক শনাক্তকরণের জন্য গার্ডরেল ও কন্টেন্ট সেফটি এপিআই ব্যবহার করুন।

5. অ্যালাওলিস্ট এবং ব্লকলিস্ট: মডেলটি কোথায় নেভিগেট করতে পারবে এবং কী করতে পারবে তা নিয়ন্ত্রণ করতে ফিল্টারিং ব্যবস্থা প্রয়োগ করুন। নিষিদ্ধ ওয়েবসাইটগুলির একটি ব্লকলিস্ট একটি ভালো সূচনা হতে পারে, অন্যদিকে আরও কঠোর একটি অ্যালাওলিস্ট আরও বেশি নিরাপদ।

6. পর্যবেক্ষণযোগ্যতা এবং লগিং: ডিবাগিং, নিরীক্ষা এবং ঘটনার প্রতিক্রিয়ার জন্য বিস্তারিত লগ বজায় রাখুন। আপনার ক্লায়েন্টকে প্রম্পট, স্ক্রিনশট, মডেল-প্রস্তাবিত ক্রিয়া (function_call), সুরক্ষা প্রতিক্রিয়া এবং ক্লায়েন্ট দ্বারা চূড়ান্তভাবে সম্পাদিত সমস্ত ক্রিয়াকলাপ লগ করতে হবে।

7. পরিবেশ ব্যবস্থাপনা: জিইউআই (GUI) পরিবেশ যেন সামঞ্জস্যপূর্ণ থাকে তা নিশ্চিত করুন। অপ্রত্যাশিত পপ-আপ, নোটিফিকেশন বা লেআউটের পরিবর্তন মডেলটিকে বিভ্রান্ত করতে পারে। সম্ভব হলে প্রতিটি নতুন কাজের জন্য একটি পরিচিত ও ত্রুটিমুক্ত অবস্থা থেকে শুরু করুন।

মডেল সংস্করণ

উল্লেখ্য যে, gemini-3-flash-preview কম্পিউটার ব্যবহারের জন্য অন্তর্নির্মিত সমর্থন রয়েছে; টুলটি অ্যাক্সেস করার জন্য আপনার কোনো আলাদা মডেলের প্রয়োজন নেই।

এরপর কী?

• ব্রাউজারবেস ডেমো পরিবেশে কম্পিউটার ব্যবহার নিয়ে পরীক্ষা করুন।
• উদাহরণ কোডের জন্য রেফারেন্স ইমপ্লিমেন্টেশনটি দেখুন।
• অন্যান্য জেমিনি এপিআই টুল সম্পর্কে জানুন:
  • ফাংশন কলিং
  • গুগল সার্চের মাধ্যমে গ্রাউন্ডিং