Kuptimi i videos

Gemini Robotics ER 2 mund të ndjekë progresin e detyrës nga transmetimet e vazhdueshme video duke përdorur dy aftësi:

  • Gjetja e momentit: identifikon vulën e saktë kohore ku ndodh një ngjarje kyçe.
  • Klasifikimi i progresit: i cakton çdo video njërës prej pesë kllapave të përfundimit (0–20%, 20–40%, 40–60%, 60–80%, 80–100%).

Gjetja e momentit

Gjetja e momenteve identifikon kuadrin e saktë të videos ku ndodh një ngjarje kritike - për shembull, kur një filxhan është plot ose një nyjë është e lidhur. Robotët e përdorin këtë për të verifikuar suksesin, për të renditur hapat dhe për të shkaktuar korrigjime.

Shembulli i mëposhtëm i kërkon modelit të identifikojë momentin e përfundimit për një detyrë të caktuar në një video:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Më poshtë tregohen shembuj të kuadrove nga një video për gjetjen e momenteve, me modelin që identifikon vulën kohore të përfundimit të detyrës:

Shembuj të kuadrove video që tregojnë rezultatin e gjetjes së momentit me një mbivendosje të vulës kohore

Klasifikimi i progresit

Klasifikimi i progresit i cakton një videoje njërës prej pesë kllapave të përfundimit: 0–20%, 20–40%, 40–60%, 60–80% ose 80–100%. Kjo u jep robotëve ndërgjegjësim për situatën në kohë reale, në mënyrë që ata të mund të rregullojnë veprimet ose të riprovojnë hapat e dështuar pa rinisur një rrjedhë të tërë pune.

Shembulli i mëposhtëm i kërkon modelit të klasifikojë nivelin aktual të progresit nga një video:

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="task_video.mp4")

prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""

interaction = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "video",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": prompt}
    ],
)

print(interaction.output_text)

Më poshtë tregohen shembuj të kornizave nga një video e klasifikimit të progresit, me modelin që cakton një kllapë progresi:

Shembuj të kornizave video që tregojnë rezultatin e klasifikimit të progresit me një etiketë kllape progresi

Shembuj

Për shembuj të plotë të ekzekutueshëm, duke përfshirë ndjekjen e detyrave me shumë hapa, shihni librin e gatimit të Robotics .

Çfarë vjen më pas