वीडियो की बारीक़ी से पहचान करना

वीडियो जनरेट करने के बारे में जानने के लिए, Gemini Omni Flash की गाइड देखें.

Gemini मॉडल, वीडियो प्रोसेस कर सकते हैं. इससे डेवलपर, वीडियो से जुड़े कई ऐसे काम कर सकते हैं जिनके लिए पहले, डोमेन के हिसाब से मॉडल की ज़रूरत होती थी. Gemini की विज़न सुविधाओं में ये शामिल हैं: वीडियो के बारे में जानकारी देना, वीडियो को अलग-अलग हिस्सों में बांटना, वीडियो से जानकारी निकालना, वीडियो के कॉन्टेंट के बारे में सवालों के जवाब देना, और वीडियो में मौजूद किसी खास टाइमस्टैंप के बारे में बताना.

Gemini को इन तरीकों से वीडियो इनपुट के तौर पर दिया जा सकता है:

इनपुट विधि सबसे बड़ा साइज़ सुझाया गया इस्तेमाल
फ़ाइल एपीआई 20 जीबी (पैसे चुकाकर) / 2 जीबी (मुफ़्त) बड़ी फ़ाइलें (100 एमबी से ज़्यादा), लंबी अवधि के वीडियो (10 मिनट से ज़्यादा), फिर से इस्तेमाल की जा सकने वाली फ़ाइलें.
Cloud Storage में रजिस्टर करना हर फ़ाइल के लिए 2 जीबी (स्टोरेज की कोई सीमा नहीं) बड़ी फ़ाइलें (100 एमबी से ज़्यादा), लंबी अवधि के वीडियो (10 मिनट से ज़्यादा), हमेशा उपलब्ध रहने वाली, फिर से इस्तेमाल की जा सकने वाली फ़ाइलें.
इनलाइन डेटा 100 एमबी से कम छोटी फ़ाइलें (100 एमबी से कम), कम अवधि वाले वीडियो (एक मिनट से कम), एक बार इस्तेमाल किए जाने वाले इनपुट.
YouTube के यूआरएल लागू नहीं YouTube पर सार्वजनिक तौर पर उपलब्ध वीडियो.

ध्यान दें: ज़्यादातर मामलों में, फ़ाइल एपीआई का इस्तेमाल करने का सुझाव दिया जाता है. खास तौर पर, 100 एमबी से बड़ी फ़ाइलों के लिए या जब आपको एक ही फ़ाइल को कई अनुरोधों में इस्तेमाल करना हो.

फ़ाइल इनपुट के अन्य तरीकों के बारे में जानने के लिए, जैसे कि बाहरी यूआरएल या Google Cloud में सेव की गई फ़ाइलों का इस्तेमाल करना, फ़ाइल इनपुट के तरीके वाली गाइड देखें.

वीडियो फ़ाइल अपलोड करना

यहां दिया गया कोड, एक सैंपल वीडियो डाउनलोड करता है. इसके बाद, Files API का इस्तेमाल करके उसे अपलोड करता है. फिर, वीडियो की प्रोसेसिंग पूरी होने का इंतज़ार करता है. इसके बाद, अपलोड की गई फ़ाइल के रेफ़रंस का इस्तेमाल करके, वीडियो का सारांश तैयार करता है.

Python

from google import genai

client = genai.Client()

myfile = client.files.upload(file="path/to/sample.mp4")

response = client.models.generate_content(
    model="gemini-3.8-flash", contents=[myfile, "Summarize this video. Then create a quiz with an answer key based on the information in this video."]
)

print(response.text)

JavaScript

import {
  GoogleGenAI,
  createUserContent,
  createPartFromUri,
} from "@google/genai";

const ai = new GoogleGenAI({});

async function main() {
  const myfile = await ai.files.upload({
    file: "path/to/sample.mp4",
    config: { mimeType: "video/mp4" },
  });

  const response = await ai.models.generateContent({
    model: "gemini-3.8-flash",
    contents: createUserContent([
      createPartFromUri(myfile.uri, myfile.mimeType),
      "Summarize this video. Then create a quiz with an answer key based on the information in this video.",
    ]),
  });
  console.log(response.text);
}

await main();

Go

uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/sample.mp4", nil)

parts := []*genai.Part{
    genai.NewPartFromText("Summarize this video. Then create a quiz with an answer key based on the information in this video."),
    genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
}

contents := []*genai.Content{
    genai.NewContentFromParts(parts, genai.RoleUser),
}

result, _ := client.Models.GenerateContent(
    ctx,
    "gemini-3.8-flash",
    contents,
    nil,
)

fmt.Println(result.Text())

REST

VIDEO_PATH="path/to/sample.mp4"
MIME_TYPE=$(file -b --mime-type "${VIDEO_PATH}")
NUM_BYTES=$(wc -c < "${VIDEO_PATH}")
DISPLAY_NAME=VIDEO

tmp_header_file=upload-header.tmp

echo "Starting file upload..."
curl "https://generativelanguage.googleapis.com/upload/v1beta/files" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -D ${tmp_header_file} \
  -H "X-Goog-Upload-Protocol: resumable" \
  -H "X-Goog-Upload-Command: start" \
  -H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
  -H "Content-Type: application/json" \
  -d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null

upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"

echo "Uploading video data..."
curl "${upload_url}" \
  -H "Content-Length: ${NUM_BYTES}" \
  -H "X-Goog-Upload-Offset: 0" \
  -H "X-Goog-Upload-Command: upload, finalize" \
  --data-binary "@${VIDEO_PATH}" 2> /dev/null > file_info.json

file_uri=$(jq -r ".file.uri" file_info.json)
echo file_uri=$file_uri

echo "File uploaded successfully. File URI: ${file_uri}"

# --- 3. Generate content using the uploaded video file ---
echo "Generating content from video..."
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
    -H "x-goog-api-key: $GEMINI_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
          {"file_data":{"mime_type": "'"${MIME_TYPE}"'", "file_uri": "'"${file_uri}"'"}},
          {"text": "Summarize this video. Then create a quiz with an answer key based on the information in this video."}]
        }]
      }' 2> /dev/null > response.json

jq -r ".candidates[].content.parts[].text" response.json

टोकन की संख्या कम करने और परफ़ॉर्मेंस को बेहतर बनाने के लिए, एजेंटिक वीडियो प्रोसेसिंग का इस्तेमाल करें.

Files API का इस्तेमाल हमेशा तब करें, जब अनुरोध का कुल साइज़ (इसमें फ़ाइल, टेक्स्ट प्रॉम्प्ट, सिस्टम के निर्देश वगैरह शामिल हैं) 20 एमबी से ज़्यादा हो, वीडियो की अवधि ज़्यादा हो या आपको एक ही वीडियो को कई प्रॉम्प्ट में इस्तेमाल करना हो. फ़ाइल एपीआई, वीडियो फ़ाइल फ़ॉर्मैट को सीधे स्वीकार करता है.

मीडिया फ़ाइलों के साथ काम करने के बारे में ज़्यादा जानने के लिए, Files API देखें.

वीडियो डेटा को इनलाइन पास करना

File API का इस्तेमाल करके वीडियो फ़ाइल अपलोड करने के बजाय, generateContent के अनुरोध में सीधे छोटे वीडियो पास किए जा सकते हैं. यह सुविधा, 20 एमबी से कम साइज़ वाले छोटे वीडियो के लिए सही है.

यहां इनलाइन वीडियो डेटा देने का एक उदाहरण दिया गया है:

Python

from google import genai
from google.genai import types

# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()

client = genai.Client()
response = client.models.generate_content(
    model='gemini-3.8-flash',
    contents=types.Content(
        parts=[
            types.Part(
                inline_data=types.Blob(data=video_bytes, mime_type='video/mp4')
            ),
            types.Part(text='Please summarize the video in 3 sentences.')
        ]
    )
)
print(response.text)

JavaScript

import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";

const ai = new GoogleGenAI({});
const base64VideoFile = fs.readFileSync("path/to/small-sample.mp4", {
  encoding: "base64",
});

const contents = [
  {
    inlineData: {
      mimeType: "video/mp4",
      data: base64VideoFile,
    },
  },
  { text: "Please summarize the video in 3 sentences." }
];

const response = await ai.models.generateContent({
  model: "gemini-3.8-flash",
  contents: contents,
});
console.log(response.text);

REST

VIDEO_PATH=/path/to/your/video.mp4

if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
  B64FLAGS="--input"
else
  B64FLAGS="-w0"
fi

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
    -H "x-goog-api-key: $GEMINI_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
            {
              "inline_data": {
                "mime_type":"video/mp4",
                "data": "'$(base64 $B64FLAGS $VIDEO_PATH)'"
              }
            },
            {"text": "Please summarize the video in 3 sentences."}
        ]
      }]
    }' 2> /dev/null

YouTube के यूआरएल पास करना

YouTube के यूआरएल को Gemini API में, अपने अनुरोध के हिस्से के तौर पर सीधे पास किया जा सकता है. इसके लिए, यह तरीका अपनाएं:

Python

from google import genai
from google.genai import types

client = genai.Client()
response = client.models.generate_content(
    model='gemini-3.8-flash',
    contents=types.Content(
        parts=[
            types.Part(
                file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=9hE5-98ZeCg')
            ),
            types.Part(text='Please summarize the video in 3 sentences.')
        ]
    )
)
print(response.text)

JavaScript

import { GoogleGenAI } from "@google/genai";

const ai = new GoogleGenAI({});

const contents = [
  {
    fileData: {
      fileUri: "https://www.youtube.com/watch?v=9hE5-98ZeCg",
    },
  },
  { text: "Please summarize the video in 3 sentences." }
];

const response = await ai.models.generateContent({
  model: "gemini-3.8-flash",
  contents: contents,
});
console.log(response.text);

Go

package main

import (
  "context"
  "fmt"
  "os"
  "google.golang.org/genai"
)

func main() {
  ctx := context.Background()
  client, err := genai.NewClient(ctx, nil)
  if err != nil {
      log.Fatal(err)
  }

  parts := []*genai.Part{
      genai.NewPartFromText("Please summarize the video in 3 sentences."),
      genai.NewPartFromURI("https://www.youtube.com/watch?v=9hE5-98ZeCg","video/mp4"),
  }

  contents := []*genai.Content{
      genai.NewContentFromParts(parts, genai.RoleUser),
  }

  result, _ := client.Models.GenerateContent(
      ctx,
      "gemini-3.8-flash",
      contents,
      nil,
  )

  fmt.Println(result.Text())
}

REST

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
    -H "x-goog-api-key: $GEMINI_API_KEY" \
    -H 'Content-Type: application/json' \
    -X POST \
    -d '{
      "contents": [{
        "parts":[
            {"text": "Please summarize the video in 3 sentences."},
            {
              "file_data": {
                "file_uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
              }
            }
        ]
      }]
    }' 2> /dev/null

सीमाएं:

  • मुफ़्त टियर के लिए, हर दिन YouTube के आठ घंटे से ज़्यादा के वीडियो अपलोड नहीं किए जा सकते.
  • पैसे चुकाकर इस्तेमाल किए जाने वाले टियर के लिए, वीडियो की अवधि के हिसाब से कोई सीमा नहीं है.
  • Gemini 2.5 से पहले के मॉडल के लिए, हर अनुरोध में सिर्फ़ एक वीडियो अपलोड किया जा सकता है. Gemini 2.5 और उसके बाद के मॉडल के लिए, हर अनुरोध में ज़्यादा से ज़्यादा 10 वीडियो अपलोड किए जा सकते हैं.
  • सिर्फ़ सार्वजनिक तौर पर उपलब्ध वीडियो अपलोड किए जा सकते हैं. निजी या 'सबके लिए उपलब्ध नहीं' के तौर पर उपलब्ध वीडियो अपलोड नहीं किए जा सकते.

एजेंटिक वीडियो को समझना

डिफ़ॉल्ट रूप से, वीडियो इनपुट के लिए स्टैटिक प्रोसेसिंग का इस्तेमाल किया जाता है. इसमें, एक सेकंड में एक फ़्रेम के हिसाब से फ़्रेम निकाले जाते हैं. Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, और 3.5 Flash Lite मॉडल, एजेंटिक वीडियो को समझने की सुविधा भी देते हैं. इसमें मॉडल, वीडियो की टाइमलाइन को डाइनैमिक तरीके से एक्सप्लोर करता है. साथ ही, प्रॉम्प्ट के आधार पर, चुनिंदा तौर पर ट्रांसक्रिप्ट की जांच करता है. इसके अलावा, फ़्रेम रेट और रिज़ॉल्यूशन को ज़रूरत के हिसाब से अडजस्ट करता है.

मोड ब्यौरा इस्तेमाल किए जा सकने वाले मॉडल
स्टैटिक (डिफ़ॉल्ट) इसमें, एक तय दर (एक सेकंड में एक फ़्रेम) से फ़्रेम निकाले जाते हैं और उन्हें एक ही बार में कॉन्टेक्स्ट में शामिल किया जाता है. यह सुविधा, छोटी क्लिप के लिए बेहतर है. Gemini के सभी मॉडल
एजेंटिक मॉडल, वीडियो की टाइमलाइन को डाइनैमिक तरीके से नेविगेट करता है. साथ ही, प्रॉम्प्ट के आधार पर सिर्फ़ ज़रूरी कॉन्टेंट लोड करता है. यह सुविधा, लंबी अवधि के कॉन्टेंट के लिए, टोकन के इस्तेमाल को 88% तक कम करती है. साथ ही, इसकी क्वालिटी ~7% बेहतर होती है. Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, 3.5 Flash Lite

प्रोसेसिंग का कोई मोड चुनना

सामान्य तौर पर, एजेंटिक मोड से शुरुआत करें. खास तौर पर, जवाब की क्वालिटी या टोकन की संख्या कम करने के लिए ऑप्टिमाइज़ करते समय.

  • एजेंटिक: लंबी अवधि के वीडियो या खास पलों को टारगेट करने वाली क्वेरी. मॉडल, कॉन्टेक्स्ट विंडो को भरे बिना, कॉन्टेक्चुअली काम की जानकारी को टारगेट करने के लिए, टाइमलाइन को डाइनैमिक तरीके से नेविगेट करता है.
  • स्टैटिक: पांच मिनट से कम अवधि वाली छोटी क्लिप पर, कम समय में जवाब देने वाली क्वेरी या ऐसे मामले जहां पूरी क्लिप में फ़्रेम-लेवल की सटीक जानकारी की ज़रूरत हो.

ध्यान दें: लंबी अवधि के वीडियो या ऐसे मुश्किल प्रॉम्प्ट के लिए जिनमें एजेंटिक प्रोसेसिंग में ज़्यादा समय लगता है, स्ट्रीमिंग (client.models.generate_content_stream) का इस्तेमाल करें. इससे कनेक्शन ऐक्टिव रहता है, बीच-बीच में जवाब देने के लिए की गई प्रोसेस दिखती है. साथ ही, कनेक्शन या पुष्टि करने के लिए तय समय खत्म होने से जुड़ी गड़बड़ियां नहीं आती हैं.

प्रोसेसिंग का मोड सेट करना

Python

import time
from google import genai
from google.genai import types

client = genai.Client()

video_file = client.files.upload(file="path/to/lecture.mp4")

while video_file.state.name == "PROCESSING":
    time.sleep(2)
    video_file = client.files.get(name=video_file.name)

response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=[
        types.Part.from_uri(
            file_uri=video_file.uri,
            mime_type=video_file.mime_type,
            media_processing="AGENTIC",
        ),
        "What are the three main arguments presented?",
    ],
)
print(response.text)

JavaScript

import { GoogleGenAI } from "@google/genai";

const ai = new GoogleGenAI({});

let videoFile = await ai.files.upload({
  file: "path/to/lecture.mp4",
  config: { mimeType: "video/mp4" },
});

while (videoFile.state === "PROCESSING") {
  await new Promise((resolve) => setTimeout(resolve, 2000));
  videoFile = await ai.files.get({ name: videoFile.name });
}

const response = await ai.models.generateContent({
  model: "gemini-3.8-flash",
  contents: [
    {
      role: "user",
      parts: [
        {
          fileData: {
            fileUri: videoFile.uri,
            mimeType: videoFile.mimeType,
          },
          mediaProcessing: "AGENTIC",
        },
        { text: "What are the three main arguments presented?" },
      ],
    },
  ],
});
console.log(response.text);

Go

uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/lecture.mp4", nil)
parts := []*genai.Part{
    {
        FileData: &genai.FileData{
            FileURI:  uploadedFile.URI,
            MIMEType: uploadedFile.MIMEType,
        },
        MediaProcessing: genai.MediaProcessingAgentic,
    },
    genai.NewPartFromText("What are the three main arguments presented?"),
}
contents := []*genai.Content{
    genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
    ctx,
    "gemini-3.8-flash",
    contents,
    nil,
)
fmt.Println(result.Text())

REST

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{
    "contents": [{
      "parts": [
        {
          "file_data": {
            "file_uri": "'${file_uri}'",
            "mime_type": "video/mp4"
          },
          "media_processing": "AGENTIC"
        },
        {"text": "What are the three main arguments presented?"}
      ]
    }]
  }'

ध्यान दें: यह पुष्टि करने के लिए कि एजेंटिक प्रोसेसिंग का इस्तेमाल किया गया है, response.candidates[0].content.parts की जांच करें. MEDIA_PROCESSING टूल टाइप के साथ tool_call और tool_response के हिस्से मौजूद होने से पता चलता है कि मॉडल ने वीडियो को डाइनैमिक तरीके से नेविगेट किया है.

ध्यान दें: सर्वर-साइड के अन्य टूल (जैसे, Google Search या यूआरएल कॉन्टेक्स्ट) के उलट, एजेंटिक वीडियो के लिए, टूल कॉल और नतीजे वापस पाने या स्ट्रीम करने के लिए, ToolConfig में include_server_side_tool_invocations=True सेट करने की ज़रूरत नहीं होती. वीडियो नेविगेशन के लिए, tool_call और tool_response के हिस्से किसी भी इनपुट पार्ट पर media_processing="AGENTIC" सेट करने पर अपने-आप वापस आ जाते हैं.

जवाब का स्ट्रक्चर

एजेंटिक प्रोसेसिंग चालू होने पर, जवाब में अतिरिक्त हिस्से शामिल होते हैं. इनसे, इंटरनल नेविगेशन ट्रेस दिखता है:

  • tool_call के हिस्से (tool_type: "MEDIA_PROCESSING"): मॉडल के वीडियो सेगमेंट या ऑडियो ट्रांसक्रिप्ट का अनुरोध करने पर, हर बार ये हिस्से दिखते हैं.
  • tool_response के हिस्से (tool_type: "MEDIA_PROCESSING"): हर लोड ऑपरेशन का नतीजा.

आपको इन हिस्सों को मैन्युअल तरीके से मैनेज करने या इनका जवाब देने की ज़रूरत नहीं है. पूरे जवाब को बातचीत के इतिहास के तौर पर वापस पास करें. इन्हें अपने-आप मैनेज कर लिया जाएगा.

अगर ThinkingConfig में include_thoughts=True सेट किया गया है, तो गहराई से विश्लेषण के चरण, टूल कॉल/जवाब के पेयर के साथ thought: true के हिस्सों के तौर पर दिखते हैं. जवाब देने के लिए की गई प्रोसेस बंद होने पर, प्रोसेस से जुड़ा टेक्स्ट नहीं दिखता. हालांकि, टूल के हिस्से अब भी दिखते हैं.

यहां, टूल कॉल और जवाब के हिस्सों के साथ, जवाब के पेलोड का एक उदाहरण दिया गया है:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "thought": true,
            "text": "Inspecting transcript for key discussion topics..."
          },
          {
            "thought_signature": "sig_A",
            "tool_call": {
              "tool_type": "MEDIA_PROCESSING"
            }
          },
          {
            "thought_signature": "sig_B",
            "tool_response": {
              "tool_type": "MEDIA_PROCESSING"
            }
          },
          {
            "thought": true,
            "text": "Loading visual frames to verify slide content..."
          },
          {
            "thought_signature": "sig_C",
            "tool_call": {
              "tool_type": "MEDIA_PROCESSING"
            }
          },
          {
            "thought_signature": "sig_D",
            "tool_response": {
              "tool_type": "MEDIA_PROCESSING"
            }
          },
          {
            "thought": true,
            "text": "Synthesizing answer from gathered evidence..."
          },
          {
            "text": "The three main arguments presented in the lecture are...",
            "thought_signature": "sig_E"
          }
        ]
      }
    }
  ]
}

वीडियो के लिए अलग-अलग प्रोसेसिंग मोड इस्तेमाल करना

एक ही अनुरोध में, हर वीडियो पार्ट के लिए अलग-अलग प्रोसेसिंग मोड सेट किए जा सकते हैं:

Python

from google import genai
from google.genai import types

client = genai.Client()

lecture = client.files.upload(file="path/to/long-lecture.mp4")
experiment = client.files.upload(file="path/to/short-experiment.mp4")

response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=[
        types.Part.from_uri(
            file_uri=lecture.uri,
            mime_type=lecture.mime_type,
            media_processing="AGENTIC",  # Use agentic video understanding
        ),
        types.Part.from_uri(
            file_uri=experiment.uri,
            mime_type=experiment.mime_type,
            media_processing="STATIC",  # Use static processing
        ),
        "Compare the lecture content with the experiment results.",
    ],
)
print(response.text)

JavaScript

import { GoogleGenAI } from "@google/genai";

const ai = new GoogleGenAI({});

const lecture = await ai.files.upload({
  file: "path/to/long-lecture.mp4",
  config: { mimeType: "video/mp4" },
});
const experiment = await ai.files.upload({
  file: "path/to/short-experiment.mp4",
  config: { mimeType: "video/mp4" },
});

const response = await ai.models.generateContent({
  model: "gemini-3.8-flash",
  contents: [
    {
      role: "user",
      parts: [
        {
          fileData: {
            fileUri: lecture.uri,
            mimeType: lecture.mimeType,
          },
          mediaProcessing: "AGENTIC", // Use agentic video understanding
        },
        {
          fileData: {
            fileUri: experiment.uri,
            mimeType: experiment.mimeType,
          },
          mediaProcessing: "STATIC", // Use static processing
        },
        { text: "Compare the lecture content with the experiment results." },
      ],
    },
  ],
});
console.log(response.text);

Go

lecturePart := &genai.Part{
    FileData: &genai.FileData{
        FileURI:  lectureFile.URI,
        MIMEType: lectureFile.MIMEType,
    },
    MediaProcessing: genai.MediaProcessingAgentic, // Use agentic
}
experimentPart := &genai.Part{
    FileData: &genai.FileData{
        FileURI:  experimentFile.URI,
        MIMEType: experimentFile.MIMEType,
    },
    MediaProcessing: genai.MediaProcessingStatic, // Use static
}
parts := []*genai.Part{
    lecturePart,
    experimentPart,
    genai.NewPartFromText("Compare the lecture content with the experiment results."),
}
contents := []*genai.Content{
    genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(ctx, "gemini-3.8-flash", contents, nil)
fmt.Println(result.Text())

REST

curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{
    "contents": [{
      "parts": [
        {
          "file_data": {
            "file_uri": "'${lecture_uri}'",
            "mime_type": "video/mp4"
          },
          "media_processing": "AGENTIC"
        },
        {
          "file_data": {
            "file_uri": "'${experiment_uri}'",
            "mime_type": "video/mp4"
          },
          "media_processing": "STATIC"
        },
        {"text": "Compare the lecture content with the experiment results."}
      ]
    }]
  }'

लंबी अवधि के वीडियो के लिए, कॉन्टेक्स्ट कैशिंग का इस्तेमाल करना

10 मिनट से ज़्यादा अवधि वाले वीडियो के लिए या जब आपको एक ही वीडियो फ़ाइल के लिए कई अनुरोध करने हों, तो लागत कम करने और इंतज़ार का समय कम करने के लिए, कॉन्टेक्स्ट कैशिंग का इस्तेमाल करें. कॉन्टेक्स्ट कैशिंग की मदद से, वीडियो को एक बार प्रोसेस किया जा सकता है और बाद की क्वेरी के लिए टोकन का फिर से इस्तेमाल किया जा सकता है. इससे, चैट सेशन या लंबी अवधि के कॉन्टेंट के बार-बार किए जाने वाले विश्लेषण के लिए यह सुविधा बेहतर है.

कॉन्टेंट में मौजूद टाइमस्टैंप के बारे में बताना

MM:SS फ़ॉर्मैट वाले टाइमस्टैंप का इस्तेमाल करके, वीडियो में मौजूद किसी खास समय के बारे में सवाल पूछे जा सकते हैं.

Python

prompt = "What are the examples given at 00:05 and 00:10 supposed to show us?" # Adjusted timestamps for the NASA video

JavaScript

const prompt = "What are the examples given at 00:05 and 00:10 supposed to show us?";

Go

    prompt := []*genai.Part{
        genai.NewPartFromURI(currentVideoFile.URI, currentVideoFile.MIMEType),
          // Adjusted timestamps for the NASA video
        genai.NewPartFromText("What are the examples given at 00:05 and " +
            "00:10 supposed to show us?"),
    }

REST

PROMPT="What are the examples given at 00:05 and 00:10 supposed to show us?"

वीडियो से अहम जानकारी निकालना

Gemini मॉडल, ऑडियो और विज़ुअल, दोनों स्ट्रीम से जानकारी प्रोसेस करके, वीडियो के कॉन्टेंट को समझने की बेहतरीन सुविधाएं देते हैं. इससे, वीडियो के बारे में कई तरह की जानकारी निकाली जा सकती है. जैसे, वीडियो में क्या हो रहा है, इसकी जानकारी जनरेट करना और वीडियो के कॉन्टेंट के बारे में सवालों के जवाब देना.

विज़ुअल जानकारी के लिए, मॉडल एक सेकंड में एक फ़्रेम (एफ़पीएस) की दर से वीडियो का सैंपल लेता है. सैंपल लेने की यह डिफ़ॉल्ट दर, ज़्यादातर कॉन्टेंट के लिए सही है. हालांकि, ध्यान दें कि तेज़ी से चलने वाले वीडियो या सीन में तेज़ी से बदलाव होने वाले वीडियो में, यह कुछ जानकारी छोड़ सकता है. तेज़ी से चलने वाले ऐसे कॉन्टेंट के लिए, फ़्रेम रेट को अपने हिसाब से सेट करें.

Python

prompt = "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."

JavaScript

const prompt = "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.";

Go

    prompt := []*genai.Part{
        genai.NewPartFromURI(currentVideoFile.URI, currentVideoFile.MIMEType),
        genai.NewPartFromText("Describe the key events in this video, providing both audio and visual details. " +
      "Include timestamps for salient moments."),
    }

REST

PROMPT="Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."

वीडियो प्रोसेसिंग को पसंद के मुताबिक बनाना

Gemini API में, वीडियो प्रोसेसिंग को पसंद के मुताबिक बनाया जा सकता है. इसके लिए, क्लिप करने के इंटरवल सेट करें या फ़्रेम रेट के लिए, अपने हिसाब से सैंपल लेने की दर तय करें. कस्टमाइज़ेशन के ये विकल्प वीडियो को "static" मोड में प्रोसेस करने पर ही काम करते हैं.

क्लिप करने के इंटरवल सेट करना

स्टार्ट और एंड ऑफ़सेट के साथ videoMetadata तय करके, वीडियो को क्लिप किया जा सकता है.

Python

from google import genai
from google.genai import types

client = genai.Client()
response = client.models.generate_content(
    model='models/gemini-3.8-flash',
    contents=types.Content(
        parts=[
            types.Part(
                file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=XEzRZ35urlk'),
                video_metadata=types.VideoMetadata(
                    start_offset='1250s',
                    end_offset='1570s'
                )
            ),
            types.Part(text='Please summarize the video in 3 sentences.')
        ]
    )
)

JavaScript

import { GoogleGenAI } from '@google/genai';
const ai = new GoogleGenAI({});
const model = 'gemini-3.8-flash';

async function main() {
const contents = [
  {
    role: 'user',
    parts: [
      {
        fileData: {
          fileUri: 'https://www.youtube.com/watch?v=9hE5-98ZeCg',
          mimeType: 'video/*',
        },
        videoMetadata: {
          startOffset: '40s',
          endOffset: '80s',
        }
      },
      {
        text: 'Please summarize the video in 3 sentences.',
      },
    ],
  },
];

const response = await ai.models.generateContent({
  model,
  contents,
});

console.log(response.text)

}

await main();

फ़्रेम रेट को अपने हिसाब से सेट करना

videoMetadata में fps आर्ग्युमेंट पास करके, फ़्रेम रेट के लिए, अपने हिसाब से सैंपल लेने की दर तय की जा सकती है.

Python

from google import genai
from google.genai import types

# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()

client = genai.Client()
response = client.models.generate_content(
    model='models/gemini-3.8-flash',
    contents=types.Content(
        parts=[
            types.Part(
                inline_data=types.Blob(
                    data=video_bytes,
                    mime_type='video/mp4'),
                video_metadata=types.VideoMetadata(fps=5)
            ),
            types.Part(text='Please summarize the video in 3 sentences.')
        ]
    )
)

डिफ़ॉल्ट रूप से, वीडियो से एक सेकंड में एक फ़्रेम (एफ़पीएस) का सैंपल लिया जाता है. लंबी अवधि के वीडियो के लिए, कम एफ़पीएस (< 1) सेट किया जा सकता है. यह सुविधा, खास तौर पर ऐसे वीडियो के लिए काम की है जिनमें ज़्यादातर स्टैटिक कॉन्टेंट होता है. जैसे, लेक्चर. ऐसे वीडियो के लिए ज़्यादा एफ़पीएस का इस्तेमाल करें जिनमें समय के हिसाब से बारीकी से विश्लेषण करने की ज़रूरत होती है. जैसे, तेज़ी से होने वाली कार्रवाई को समझना या तेज़ गति से होने वाली गतिविधि को ट्रैक करना.

काम करने वाले वीडियो फ़ॉर्मैट

Gemini, वीडियो के इन फ़ॉर्मैट के MIME टाइप के साथ काम करता है:

  • video/mp4
  • video/mpeg
  • video/quicktime
  • video/avi
  • video/x-flv
  • video/mpg
  • video/webm
  • video/wmv
  • video/3gpp

वीडियो के बारे में तकनीकी जानकारी

  • इस्तेमाल किए जा सकने वाले मॉडल और कॉन्टेक्स्ट: Gemini के सभी मॉडल, वीडियो डेटा को प्रोसेस कर सकते हैं.
    • 10 लाख कॉन्टेक्स्ट विंडो वाले मॉडल, डिफ़ॉल्ट रूप से तीन घंटे तक के वीडियो प्रोसेस कर सकते हैं. हालांकि, इसके लिए मीडिया का रिज़ॉल्यूशन कम होना चाहिए. वहीं, ज़्यादा रिज़ॉल्यूशन वाले वीडियो को एक घंटे तक प्रोसेस किया जा सकता है.
  • प्रोसेसिंग के मोड: Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, 3.5 Flash Lite, और इसके बाद के मॉडल, वीडियो प्रोसेसिंग के दो मोड के साथ काम करते हैं:
    • स्टैटिक: इसमें, एक सेकंड में एक फ़्रेम के हिसाब से फ़्रेम निकाले जाते हैं और उन्हें कॉन्टेक्स्ट में शामिल किया जाता है. यह सभी मॉडल के लिए डिफ़ॉल्ट सेटिंग है . ऑडियो को एक केबीपीएस (सिंगल चैनल) पर प्रोसेस किया जाता है. हर सेकंड में टाइमस्टैंप जोड़े जाते हैं. यह सुविधा, छोटी क्लिप के लिए या तब बेहतर है, जब हर फ़्रेम अहम हो. जैसे, फ़्रेम-बाय-फ़्रेम जांच. ध्यान दें कि एक सेकंड में एक फ़्रेम के हिसाब से सैंपल लेने की दर की वजह से, तेज़ी से होने वाली कार्रवाई के क्रम में कुछ जानकारी छूट सकती है.
    • एजेंटिक: मॉडल, वीडियो को डाइनैमिक तरीके से नेविगेट करता है. साथ ही, ज़रूरत के हिसाब से ट्रांसक्रिप्ट और/या फ़्रेम और/या ऑडियो लोड करता है. इससे, लंबी अवधि के कॉन्टेंट के लिए, टोकन का इस्तेमाल 88% तक कम हो जाता है. हालांकि, जनरेट होने से पहले, इंटरनल गहराई से विश्लेषण और टूल राउंड-ट्रिप की वजह से, पांच मिनट से कम अवधि वाली छोटी क्लिप के लिए, पहले टोकन के लिए इंतज़ार का समय (टीटीएफ़टी) थोड़ा बढ़ सकता है. जवाबों में, MEDIA_PROCESSING टूल कॉल और जवाब के हिस्से शामिल होते हैं, ताकि गहराई से विश्लेषण संदर्भ को हर बार बनाए रखा जा सके. टोकन की लागत कम करने और जवाब की क्वालिटी बेहतर बनाने के लिए, लंबी अवधि के वीडियो के लिए यह सुविधा बेहतर है. यह सुविधा, Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, और 3.5 Flash Lite पर काम करती है. ज़्यादा जानकारी के लिए, एजेंटिक वीडियो को समझना देखें.
  • टोकन की गिनती (स्टैटिक मोड): वीडियो के हर सेकंड को इस तरह टोकनाइज़ किया जाता है: इस तरह:
    • अलग-अलग फ़्रेम (एक सेकंड में एक फ़्रेम के हिसाब से सैंपल लिए गए):
      • अगर media_resolution को कम पर सेट किया गया है, तो फ़्रेम को हर फ़्रेम के लिए 66 टोकन के हिसाब से टोकनाइज़ किया जाता है.
      • अन्य मामलों में, फ़्रेम को हर फ़्रेम के लिए 258 टोकन के हिसाब से टोकनाइज़ किया जाता है.
    • ऑडियो: हर सेकंड के लिए 32 टोकन.
    • इसमें मेटाडेटा भी शामिल होता है.
    • कुल: डिफ़ॉल्ट (कम) मीडिया रिज़ॉल्यूशन पर, वीडियो के हर सेकंड के लिए करीब 100 टोकन या ज़्यादा मीडिया रिज़ॉल्यूशन पर, वीडियो के हर सेकंड के लिए करीब 300 टोकन.
  • टोकन की गिनती (एजेंटिक मोड): टोकन का इस्तेमाल, कॉन्टेंट की जटिलता और मॉडल की नेविगेशन रणनीति के आधार पर अलग-अलग होता है. वीडियो एक्सप्लोर करने के दौरान, नेविगेशन के लिए की गई प्रोसेस के टोकन को जवाब देने के लिए की गई प्रोसेस के टोकन (thoughts_token_count) के तौर पर गिना जाता है. वहीं, ज़रूरत के हिसाब से लोड किए गए फ़्रेम, ऑडियो, और ट्रांसक्रिप्ट को टूल प्रॉम्प्ट टोकन (tool_use_prompt_token_count) के तौर पर गिना जाता है. एजेंटिक प्रोसेसिंग में, लंबी अवधि के कॉन्टेंट के लिए, स्टैटिक प्रोसेसिंग की तुलना में आम तौर पर 88% तक कम टोकन इस्तेमाल होते हैं. ऐसा इसलिए, क्योंकि मॉडल, प्रॉम्प्ट का जवाब देने के लिए सिर्फ़ ज़रूरी ट्रांसक्रिप्ट और/या फ़्रेम और/या ऑडियो लोड करता है (टोकन की गाइड देखें).
  • मीडिया रिज़ॉल्यूशन: Gemini 3 में, मल्टीमॉडल विज़न प्रोसेसिंग पर ज़्यादा कंट्रोल मिलता है. यह कंट्रोल media_resolution पैरामीटर की मदद से मिलता है. media_resolution पैरामीटर, हर इनपुट इमेज या वीडियो फ़्रेम के लिए तय किए गए टोकन की ज़्यादा से ज़्यादा संख्या तय करता है. ज़्यादा रिज़ॉल्यूशन से, मॉडल को बारीक टेक्स्ट पढ़ने या छोटी-छोटी जानकारी की पहचान करने में मदद मिलती है. हालांकि, इससे टोकन का इस्तेमाल और इंतज़ार का समय बढ़ जाता है. media_resolution और media_processing पैरामीटर एक-दूसरे से अलग होते हैं. इन्हें एक ही वीडियो पार्ट पर सेट किया जा सकता है.

टोकन की गिनती के बारे में ज़्यादा जानकारी के लिए, टोकन की गाइड देखें.

  • टाइमस्टैंप का फ़ॉर्मैट: अपने प्रॉम्प्ट में, वीडियो में मौजूद किसी खास समय के बारे में बताने के लिए, MM:SS फ़ॉर्मैट का इस्तेमाल करें. जैसे, एक मिनट और 15 सेकंड के लिए 01:15.
  • प्रॉम्प्ट की जगह: अगर टेक्स्ट और एक वीडियो को एक साथ इस्तेमाल किया जा रहा है, तो टेक्स्ट प्रॉम्प्ट को वीडियो वाले हिस्से के बाद contents कलेक्शन में रखें.
  • लंबी अवधि के अनुरोधों के लिए टाइमआउट: ऐसे वीडियो के लिए जिनमें प्रोसेसिंग में ज़्यादा समय लगता है या मुश्किल मल्टी-स्टेप प्रोसेस की ज़रूरत होती है, स्ट्रीमिंग (client.models.generate_content_stream) का इस्तेमाल करें. ज़्यादा मांग होने पर, बैकएंड में फिर से कोशिश करने वाले, सिंक्रोनस और नॉन-स्ट्रीमिंग अनुरोधों के लिए, कनेक्शन या पुष्टि करने वाले टोकन की वैधता की अवधि खत्म हो सकती है. इससे, 401 Unauthorized या टाइमआउट से जुड़ी गड़बड़ियां आ सकती हैं. स्ट्रीमिंग से कनेक्शन ऐक्टिव रहता है. साथ ही, जवाब देने के लिए की गई प्रोसेस और टूल कॉल की प्रोग्रेस दिखती है.

आगे क्या करना है

  • मीडिया रिज़ॉल्यूशन: क्वालिटी और टोकन के इस्तेमाल के बीच बैलेंस बनाए रखने के लिए, वीडियो फ़्रेम के रिज़ॉल्यूशन को कंट्रोल करें.
  • टोकन: जानें कि स्टैटिक और एजेंटिक, दोनों प्रोसेसिंग मोड में वीडियो कॉन्टेंट को कैसे टोकनाइज़ किया जाता है.
  • सिस्टम के निर्देश: सिस्टम के निर्देशों की मदद से, अपनी ज़रूरतों और इस्तेमाल के मामलों के हिसाब से, मॉडल के व्यवहार को कंट्रोल किया जा सकता है.
  • Files API: Gemini के साथ इस्तेमाल करने के लिए, फ़ाइलें अपलोड करने और उन्हें मैनेज करने के बारे में ज़्यादा जानें.
  • फ़ाइल प्रॉम्प्ट करने की रणनीतियां: Gemini API, टेक्स्ट, इमेज, ऑडियो, और वीडियो डेटा के साथ प्रॉम्प्ट करने की सुविधा देता है. इसे मल्टीमॉडल प्रॉम्प्टिंग भी कहा जाता है.
  • सुरक्षा से जुड़े दिशा-निर्देश: कभी-कभी, जनरेटिव एआई मॉडल से ऐसे आउटपुट मिलते हैं जिनकी उम्मीद नहीं होती. जैसे, गलत, पक्षपाती या आपत्तिजनक आउटपुट. ऐसे आउटपुट से होने वाले नुकसान के जोखिम को कम करने के लिए, पोस्ट-प्रोसेसिंग और लोगों से आकलन कराना ज़रूरी है.