Видео понимание

Робот Gemini Robotics ER 2 может отслеживать ход выполнения задачи по непрерывной видеопотоковой информации, используя две возможности:

  • Определение момента события: установление точной временной метки, когда произошло ключевое событие.
  • Классификация прогресса: каждому видеоролику присваивается один из пяти уровней завершения (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

Поиск момента

Определение момента события позволяет точно определить кадр видео, в котором происходит критическое событие — например, когда чашка наполняется или завязывается узел. Роботы используют это для проверки успешности выполнения, определения последовательности действий и запуска корректировок.

В следующем примере подсказка просит модель определить момент завершения выполнения заданной задачи в видеоролике:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Ниже приведены примеры кадров из видеозаписи поиска момента, при этом модель определяет временную метку завершения задачи:

Примеры видеокадров, демонстрирующие результаты нахождения момента с наложением временной метки.

Классификация прогресса

Классификация прогресса присваивает видео одну из пяти категорий завершения: 0–20%, 20–40%, 40–60%, 60–80% или 80–100%. Это обеспечивает роботам ситуационную осведомленность в режиме реального времени, позволяя им корректировать действия или повторять неудачные шаги без перезапуска всего рабочего процесса.

В следующем примере подсказка просит модель классифицировать текущий уровень прогресса по видео:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Ниже приведены примеры кадров из видео, демонстрирующего классификацию прогресса, с указанием моделью присвоенного диапазона прогресса:

Примеры кадров видео, демонстрирующие результаты классификации прогресса с указанием метки в скобках.

Примеры

Полные рабочие примеры, включая отслеживание выполнения многоэтапных задач, см. в руководстве по робототехнике .

Что дальше?