Hiểu video

Gemini Robotics ER 2 có thể theo dõi tiến trình thực hiện nhiệm vụ từ nguồn cấp dữ liệu video liên tục bằng 2 tính năng:

  • Tìm khoảnh khắc: xác định dấu thời gian chính xác khi một sự kiện quan trọng xảy ra.
  • Phân loại tiến trình: chỉ định mỗi video vào một trong năm nhóm hoàn thành (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

Tìm khoảnh khắc

Tính năng tìm khoảnh khắc xác định chính xác khung hình video nơi một sự kiện quan trọng xảy ra, chẳng hạn như khi cốc đầy hoặc nút thắt được thắt. Robot sử dụng thông tin này để xác minh thành công, các bước theo trình tự và kích hoạt các bước điều chỉnh.

Câu lệnh ví dụ sau đây yêu cầu mô hình xác định thời điểm hoàn thành một nhiệm vụ nhất định trong video:

from google import genai
from google.genai import types

client = genai.Client()

with open("task_video.mp4", "rb") as f:
    video_bytes = f.read()

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_bytes(data=video_bytes, mime_type="video/mp4"),
        prompt,
    ],
)

print(response.text)

Sau đây là các khung hình mẫu trong một video tìm khoảnh khắc, trong đó mô hình xác định dấu thời gian hoàn thành nhiệm vụ:

Ví dụ về các khung hình video cho thấy kết quả tìm kiếm khoảnh khắc kèm theo lớp phủ dấu thời gian

Phân loại tiến độ

Phân loại tiến trình sẽ chỉ định một video vào một trong năm khoảng hoàn thành: 0–20%, 20–40%, 40–60%, 60–80% hoặc 80–100%. Điều này giúp robot nhận biết tình huống theo thời gian thực để chúng có thể điều chỉnh hành động hoặc thử lại các bước không thành công mà không cần khởi động lại toàn bộ quy trình làm việc.

Câu lệnh ví dụ sau đây yêu cầu mô hình phân loại cấp độ tiến trình hiện tại trong một video:

from google import genai
from google.genai import types

client = genai.Client()

with open("task_video.mp4", "rb") as f:
    video_bytes = f.read()

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_bytes(data=video_bytes, mime_type="video/mp4"),
        prompt,
    ],
)

print(response.text)

Sau đây là các khung hình mẫu trong một video phân loại tiến trình, trong đó mô hình chỉ định một khoảng tiến trình:

Ví dụ về các khung hình video cho thấy kết quả phân loại tiến trình có nhãn dấu ngoặc tiến trình

Ví dụ

Để xem các ví dụ đầy đủ có thể chạy, bao gồm cả tính năng theo dõi tác vụ nhiều bước, hãy xem Sổ tay về robot học.

Bước tiếp theo