वीडियो की बारीक़ी से पहचान करना

Gemini Robotics ER 2, दो सुविधाओं का इस्तेमाल करके लगातार वीडियो फ़ीड से टास्क की प्रोग्रेस को ट्रैक कर सकता है:

  • मोमेंट फ़ाइंडिंग: इससे उस सटीक टाइमस्टैंप का पता चलता है जब कोई मुख्य इवेंट होता है.
  • प्रोग्रेस का आकलन: हर वीडियो को पांच में से किसी एक ब्रैकेट में असाइन करता है (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

मोमेंट ढूंढना

मोमेंट फ़ाइंडिंग की सुविधा से, वीडियो के उस फ़्रेम का पता चलता है जहां कोई अहम इवेंट होता है. जैसे, कप कब भरा या गांठ कब बंधी. रोबोट इसका इस्तेमाल, टास्क पूरा होने, क्रम के चरणों, और ट्रिगर में सुधार की पुष्टि करने के लिए करते हैं.

यहाँ दिए गए उदाहरण में, मॉडल से किसी वीडियो में दिए गए टास्क के पूरा होने का समय पता लगाने के लिए कहा गया है:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

यहां, टास्क पूरा होने का समय बताने वाले वीडियो से लिए गए फ़्रेम का उदाहरण दिखाया गया है. इसमें मॉडल, टास्क पूरा होने का टाइमस्टैंप पहचान रहा है:

टाइमस्टैंप ओवरले के साथ, वीडियो फ़्रेम में किसी खास पल को ढूंढने का आउटपुट दिखाने वाले वीडियो फ़्रेम का उदाहरण

प्रोग्रेस क्लासिफ़िकेशन

प्रोग्रेस क्लासिफ़िकेशन के तहत, वीडियो को पांच में से किसी एक ब्रैकेट में असाइन किया जाता है: 0–20%, 20–40%, 40–60%, 60–80% या 80–100%. इससे रोबोट को रीयल-टाइम में स्थिति की जानकारी मिलती है, ताकि वे पूरी प्रोसेस को रीस्टार्ट किए बिना, अपनी कार्रवाइयों में बदलाव कर सकें या जिन चरणों को पूरा नहीं किया जा सका उन्हें फिर से आज़मा सकें.

नीचे दिए गए उदाहरण प्रॉम्प्ट में, मॉडल से किसी वीडियो के मौजूदा प्रोग्रेस लेवल को कैटगरी में बांटने के लिए कहा गया है:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

यहां प्रोग्रेस क्लासिफ़िकेशन वाले वीडियो के उदाहरण फ़्रेम दिखाए गए हैं. इनमें मॉडल, प्रोग्रेस ब्रैकेट असाइन कर रहा है:

प्रोग्रेस ब्रैकेट के लेबल के साथ, प्रोग्रेस क्लासिफ़िकेशन का आउटपुट दिखाने वाले वीडियो फ़्रेम का उदाहरण

उदाहरण

एक से ज़्यादा चरणों वाले टास्क की ट्रैकिंग के साथ-साथ, पूरी तरह से काम करने वाले उदाहरणों के लिए, रोबोटिक्स कुकबुक देखें.

आगे क्या करना है