Kuptimi i videos

Gemini Robotics ER 2 mund të ndjekë progresin e detyrës nga transmetimet e vazhdueshme video duke përdorur dy aftësi:

  • Gjetja e momentit: identifikon vulën e saktë kohore ku ndodh një ngjarje kyçe.
  • Klasifikimi i progresit: i cakton çdo video njërës prej pesë kllapave të përfundimit (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

Gjetja e momentit

Gjetja e momenteve identifikon kuadrin e saktë të videos ku ndodh një ngjarje kritike - për shembull, kur një filxhan është plot ose një nyjë është e lidhur. Robotët e përdorin këtë për të verifikuar suksesin, për të renditur hapat dhe për të shkaktuar korrigjime.

Shembulli i mëposhtëm i kërkon modelit të identifikojë momentin e përfundimit për një detyrë të caktuar në një video:

from google import genai
from google.genai import types

client = genai.Client()

with open("task_video.mp4", "rb") as f:
    video_bytes = f.read()

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_bytes(data=video_bytes, mime_type="video/mp4"),
        prompt,
    ],
)

print(response.text)

Më poshtë tregohen shembuj të kuadrove nga një video për gjetjen e momenteve, me modelin që identifikon vulën kohore të përfundimit të detyrës:

Shembuj të kuadrove video që tregojnë rezultatin e gjetjes së momentit me një mbivendosje të vulës kohore

Klasifikimi i progresit

Klasifikimi i progresit i cakton një videoje njërës prej pesë kllapave të përfundimit: 0–20%, 20–40%, 40–60%, 60–80% ose 80–100%. Kjo u jep robotëve ndërgjegjësim për situatën në kohë reale, në mënyrë që ata të mund të rregullojnë veprimet ose të riprovojnë hapat e dështuar pa rinisur një rrjedhë të tërë pune.

Shembulli i mëposhtëm i kërkon modelit të klasifikojë nivelin aktual të progresit nga një video:

from google import genai
from google.genai import types

client = genai.Client()

with open("task_video.mp4", "rb") as f:
    video_bytes = f.read()

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_bytes(data=video_bytes, mime_type="video/mp4"),
        prompt,
    ],
)

print(response.text)

Më poshtë tregohen shembuj të kornizave nga një video e klasifikimit të progresit, me modelin që cakton një kllapë progresi:

Shembuj të kornizave video që tregojnë rezultatin e klasifikimit të progresit me një etiketë kllape progresi

Shembuj

Për shembuj të plotë të ekzekutueshëm, duke përfshirë ndjekjen e detyrave me shumë hapa, shihni librin e gatimit të Robotics .

Çfarë vjen më pas