Pemahaman video

Gemini Robotics ER 2 dapat melacak progres tugas dari feed video berkelanjutan menggunakan dua kemampuan:

  • Penemuan momen: mengidentifikasi stempel waktu yang tepat saat peristiwa utama terjadi.
  • Klasifikasi progres: menetapkan setiap video ke salah satu dari lima rentang penyelesaian (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

Menemukan momen

Penemuan momen mengidentifikasi frame video yang tepat saat peristiwa penting terjadi — misalnya, saat cangkir terisi penuh atau simpul terikat. Robot menggunakannya untuk memverifikasi keberhasilan, mengurutkan langkah-langkah, dan memicu koreksi.

Contoh perintah berikut meminta model untuk mengidentifikasi momen penyelesaian untuk tugas tertentu dalam video:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Berikut ini menunjukkan contoh frame dari video pencarian momen, dengan model mengidentifikasi stempel waktu penyelesaian tugas:

Contoh frame video yang menunjukkan output penemuan momen dengan overlay stempel waktu

Klasifikasi progres

Klasifikasi progres menetapkan video ke salah satu dari lima rentang penyelesaian: 0–20%, 20–40%, 40–60%, 60–80%, atau 80–100%. Hal ini memberi robot kesadaran situasional real-time sehingga mereka dapat menyesuaikan tindakan atau mencoba kembali langkah-langkah yang gagal tanpa memulai ulang seluruh alur kerja.

Contoh perintah berikut meminta model untuk mengklasifikasikan tingkat progres saat ini dari video:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Berikut menunjukkan contoh frame dari video klasifikasi progres, dengan model menetapkan rentang progres:

Contoh frame video yang menampilkan output klasifikasi progres dengan label rentang progres

Contoh

Untuk contoh yang dapat dijalankan sepenuhnya, termasuk pelacakan tugas multi-langkah, lihat Robotics cookbook.

Langkah berikutnya