वीडियो जनरेट करने के बारे में जानने के लिए, Gemini Omni Flash की गाइड देखें.
Gemini मॉडल, वीडियो प्रोसेस कर सकते हैं. इससे डेवलपर को कई ऐसे फ़ायदे मिलते हैं जिनके लिए पहले, डोमेन के हिसाब से मॉडल की ज़रूरत होती थी. Gemini की विज़न सुविधाओं में ये शामिल हैं: वीडियो के बारे में जानकारी देना, वीडियो को सेगमेंट में बांटना, और वीडियो से जानकारी निकालना. इसके अलावा, वीडियो के कॉन्टेंट से जुड़े सवालों के जवाब देना और वीडियो में मौजूद खास टाइमस्टैंप का रेफ़रंस देना.
Gemini को वीडियो इनपुट के तौर पर देने के लिए, इन तरीकों का इस्तेमाल किया जा सकता है:
| इनपुट विधि | ज़्यादा से ज़्यादा साइज़ | इस्तेमाल का सुझाया गया उदाहरण |
|---|---|---|
| File API | 20 जीबी (पैसे चुकाकर लिया गया) / 2 जीबी (बिना शुल्क वाला) | बड़ी फ़ाइलें (100 एमबी से ज़्यादा), लंबी अवधि के वीडियो (10 मिनट से ज़्यादा), और फिर से इस्तेमाल की जा सकने वाली फ़ाइलें. |
| Cloud Storage में रजिस्ट्रेशन करना | 2 जीबी (हर फ़ाइल के लिए, स्टोरेज की कोई सीमा नहीं) | बड़ी फ़ाइलें (100 एमबी से ज़्यादा), लंबी अवधि के वीडियो (10 मिनट से ज़्यादा), लगातार इस्तेमाल की जा सकने वाली फ़ाइलें. |
| इनलाइन डेटा | < 100 एमबी | छोटी फ़ाइलें (<100 एमबी), कम अवधि (<1 मिनट), एक बार में इनपुट. |
| YouTube यूआरएल | लागू नहीं | सार्वजनिक YouTube वीडियो. |
ध्यान दें: हम ज़्यादातर मामलों में File API इस्तेमाल करने का सुझाव देते हैं. खास तौर पर, 100 एमबी से बड़ी फ़ाइलों के लिए या जब आपको फ़ाइल को कई अनुरोधों में फिर से इस्तेमाल करना हो.
फ़ाइल इनपुट के अन्य तरीकों के बारे में जानने के लिए, फ़ाइल इनपुट के तरीके गाइड देखें. जैसे, बाहरी यूआरएल या Google Cloud में सेव की गई फ़ाइलों का इस्तेमाल करना.
वीडियो फ़ाइल अपलोड करना
यहां दिया गया कोड, एक सैंपल वीडियो डाउनलोड करता है और उसे Files API का इस्तेमाल करके अपलोड करता है. इसके बाद, वीडियो के प्रोसेस होने का इंतज़ार करता है. फिर, अपलोड की गई फ़ाइल के रेफ़रंस का इस्तेमाल करके, वीडियो की खास जानकारी देता है.
Python
from google import genai
client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash", contents=[myfile, "Summarize this video. Then create a quiz with an answer key based on the information in this video."]
)
print(response.text)
JavaScript
import {
GoogleGenAI,
createUserContent,
createPartFromUri,
} from "@google/genai";
const ai = new GoogleGenAI({});
async function main() {
const myfile = await ai.files.upload({
file: "path/to/sample.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: createUserContent([
createPartFromUri(myfile.uri, myfile.mimeType),
"Summarize this video. Then create a quiz with an answer key based on the information in this video.",
]),
});
console.log(response.text);
}
await main();
ऐप पर जाएं
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/sample.mp4", nil)
parts := []*genai.Part{
genai.NewPartFromText("Summarize this video. Then create a quiz with an answer key based on the information in this video."),
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
आराम का समय
VIDEO_PATH="path/to/sample.mp4"
MIME_TYPE=$(file -b --mime-type "${VIDEO_PATH}")
NUM_BYTES=$(wc -c < "${VIDEO_PATH}")
DISPLAY_NAME=VIDEO
tmp_header_file=upload-header.tmp
echo "Starting file upload..."
curl "https://generativelanguage.googleapis.com/upload/v1beta/files" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-D ${tmp_header_file} \
-H "X-Goog-Upload-Protocol: resumable" \
-H "X-Goog-Upload-Command: start" \
-H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
-H "Content-Type: application/json" \
-d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null
upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"
echo "Uploading video data..."
curl "${upload_url}" \
-H "Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Offset: 0" \
-H "X-Goog-Upload-Command: upload, finalize" \
--data-binary "@${VIDEO_PATH}" 2> /dev/null > file_info.json
file_uri=$(jq -r ".file.uri" file_info.json)
echo file_uri=$file_uri
echo "File uploaded successfully. File URI: ${file_uri}"
# --- 3. Generate content using the uploaded video file ---
echo "Generating content from video..."
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data":{"mime_type": "'"${MIME_TYPE}"'", "file_uri": "'"${file_uri}"'"}},
{"text": "Summarize this video. Then create a quiz with an answer key based on the information in this video."}]
}]
}' 2> /dev/null > response.json
jq -r ".candidates[].content.parts[].text" response.json
टोकन की परफ़ॉर्मेंस और क्षमता को ऑप्टिमाइज़ करने के लिए, एजेंटिक वीडियो प्रोसेसिंग का इस्तेमाल करें.
Files API का इस्तेमाल हमेशा तब करें, जब अनुरोध का कुल साइज़ 20 एमबी से ज़्यादा हो. इसमें फ़ाइल, टेक्स्ट प्रॉम्प्ट, सिस्टम से जुड़े निर्देश वगैरह शामिल हैं. इसके अलावा, वीडियो की अवधि ज़्यादा होने या एक ही वीडियो को कई प्रॉम्प्ट में इस्तेमाल करने के लिए भी Files API का इस्तेमाल करें. File API, वीडियो फ़ाइल फ़ॉर्मैट को सीधे तौर पर स्वीकार करता है.
मीडिया फ़ाइलों के साथ काम करने के बारे में ज़्यादा जानने के लिए, Files API देखें.
वीडियो डेटा को इनलाइन पास करना
File API का इस्तेमाल करके वीडियो फ़ाइल अपलोड करने के बजाय, छोटे वीडियो सीधे generateContent को किए जाने वाले अनुरोध में पास किए जा सकते हैं. यह तरीका, 20 एमबी से कम साइज़ वाले छोटे वीडियो के लिए सही है.
यहां इनलाइन वीडियो डेटा देने का एक उदाहरण दिया गया है:
Python
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(data=video_bytes, mime_type='video/mp4')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
JavaScript
import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";
const ai = new GoogleGenAI({});
const base64VideoFile = fs.readFileSync("path/to/small-sample.mp4", {
encoding: "base64",
});
const contents = [
{
inlineData: {
mimeType: "video/mp4",
data: base64VideoFile,
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
आराम का समय
VIDEO_PATH=/path/to/your/video.mp4
if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
B64FLAGS="--input"
else
B64FLAGS="-w0"
fi
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{
"inline_data": {
"mime_type":"video/mp4",
"data": "'$(base64 $B64FLAGS $VIDEO_PATH)'"
}
},
{"text": "Please summarize the video in 3 sentences."}
]
}]
}' 2> /dev/null
YouTube वीडियो के यूआरएल पास करना
अपने अनुरोध के हिस्से के तौर पर, YouTube के यूआरएल सीधे Gemini API को पास किए जा सकते हैं. इसके लिए, यह तरीका अपनाएं:
Python
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=9hE5-98ZeCg')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
JavaScript
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const contents = [
{
fileData: {
fileUri: "https://www.youtube.com/watch?v=9hE5-98ZeCg",
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
ऐप पर जाएं
package main
import (
"context"
"fmt"
"os"
"google.golang.org/genai"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
parts := []*genai.Part{
genai.NewPartFromText("Please summarize the video in 3 sentences."),
genai.NewPartFromURI("https://www.youtube.com/watch?v=9hE5-98ZeCg","video/mp4"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
}
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"text": "Please summarize the video in 3 sentences."},
{
"file_data": {
"file_uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
}
}
]
}]
}' 2> /dev/null
सीमाएं:
- मुफ़्त टियर के लिए, हर दिन आठ घंटे से ज़्यादा का YouTube वीडियो अपलोड नहीं किया जा सकता.
- पैसे चुकाकर ली जाने वाली सदस्यता के लिए, वीडियो की अवधि के आधार पर कोई सीमा तय नहीं है.
- Gemini 2.5 से पहले के मॉडल के लिए, हर अनुरोध में सिर्फ़ एक वीडियो अपलोड किया जा सकता है. Gemini 2.5 और इसके बाद के मॉडल के लिए, हर अनुरोध में ज़्यादा से ज़्यादा 10 वीडियो अपलोड किए जा सकते हैं.
- सिर्फ़ सार्वजनिक वीडियो अपलोड किए जा सकते हैं. निजी या सबके लिए मौजूद नहीं के तौर पर सेट किए गए वीडियो अपलोड नहीं किए जा सकते.
एजेंटिक वीडियो अंडरस्टैंडिंग
डिफ़ॉल्ट रूप से, वीडियो इनपुट के लिए स्टैटिक प्रोसेसिंग (1 एफ़पीएस पर फ़्रेम निकालना) का इस्तेमाल किया जाता है. यह Gemini 4 के साथ-साथ सभी मॉडल पर लागू होता है. Gemini 4 Argon, 3.8 Flash, 3.6 Flash, और 3.5 Flash Lite मॉडल, एजेंटिक वीडियो अंडरस्टैंडिंग की सुविधा भी देते हैं. यह एक ऑप्ट-इन मोड है. इसमें मॉडल, वीडियो की टाइमलाइन को डाइनैमिक तरीके से एक्सप्लोर करता है. साथ ही, ट्रांसक्रिप्ट की चुनिंदा जांच करता है और प्रॉम्प्ट के आधार पर फ़्रेम रेट और रिज़ॉल्यूशन को अडजस्ट करता है.
| मोड | ब्यौरा | इन मॉडल के साथ काम करता है |
|---|---|---|
| स्टैटिक (डिफ़ॉल्ट) | यह एक तय दर (1 FPS) पर फ़्रेम निकालता है और उन्हें एक ही बार में कॉन्टेक्स्ट में डालता है. Gemini 4 के साथ-साथ, Gemini के सभी मॉडल के लिए डिफ़ॉल्ट रूप से उपलब्ध है. | Gemini के सभी मॉडल |
| एजेंटिक | यह मॉडल, वीडियो की टाइमलाइन पर डाइनैमिक तरीके से नेविगेट करता है. साथ ही, प्रॉम्प्ट के आधार पर सिर्फ़ ज़रूरी कॉन्टेंट लोड करता है. यह लंबी अवधि वाले कॉन्टेंट के लिए, 88% तक ज़्यादा टोकन-इफ़िशिएंट है और इसकी क्वालिटी ~7% बेहतर है. | Gemini 4 Argon, 3.8 Flash, 3.6 Flash, 3.5 Flash Lite |
प्रोसेसिंग मोड चुनना
अपने वीडियो की अवधि और क्वेरी के टाइप के हिसाब से, प्रोसेसिंग मोड चुनें:
- स्टैटिक (डिफ़ॉल्ट): यह 5 मिनट से कम अवधि वाली छोटी क्लिप, पूरे वीडियो की ऐसी खास जानकारी जिसमें पूरी रिकॉर्डिंग काम की हो, कम समय में जवाब पाने वाली क्वेरी या पूरी क्लिप में फ़्रेम-लेवल की सटीक जानकारी के लिए सबसे सही है. शॉर्ट वीडियो या ऐसे प्रॉम्प्ट जिनके लिए वीडियो के ज़्यादातर हिस्से की जांच करनी पड़ती है उनके लिए स्टैटिक प्रोसेसिंग का इस्तेमाल किया जाता है. इससे अतिरिक्त थिंकिंग टोकन (
thoughts_token_count) और टूल-कॉल दोतरफ़ा यात्रा (tool_use_prompt_token_count) की ज़रूरत नहीं पड़ती. ये दोनों चीज़ें टाइमलाइन नेविगेशन के लिए ज़रूरी होती हैं. - एजेंटिक: यह लंबी अवधि के वीडियो (5 से 10 मिनट से ज़्यादा), बहुत ज़्यादा डेटा में से काम की जानकारी निकालने या खास पलों या विषयों को टारगेट करने वाली क्वेरी के लिए सबसे सही है. यह मॉडल सबसे पहले ट्रांसक्रिप्ट की जांच करता है. इसके बाद, ज़रूरत के हिसाब से सिर्फ़ काम के विज़ुअल सेगमेंट लोड करता है. इससे वीडियो इनपुट टोकन का इस्तेमाल 88% तक कम हो जाता है. साथ ही, कॉन्टेक्स्ट विंडो भी नहीं भरती.
ध्यान दें: लंबे वीडियो या मुश्किल प्रॉम्प्ट के लिए, स्ट्रीमिंग (
client.models.generate_content_stream) का इस्तेमाल करें. इससे एजेंटिक प्रोसेसिंग में ज़्यादा समय लगता है. इससे कनेक्शन ऐक्टिव रहता है, बीच-बीच में तर्क देने के चरण दिखते हैं, और कनेक्शन या पुष्टि करने के लिए समयसीमा खत्म होने से बचा जा सकता है.
प्रोसेसिंग मोड सेट करना
Python
import time
from google import genai
from google.genai import types
client = genai.Client()
video_file = client.files.upload(file="path/to/lecture.mp4")
while video_file.state.name == "PROCESSING":
time.sleep(2)
video_file = client.files.get(name=video_file.name)
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=video_file.uri,
mime_type=video_file.mime_type,
media_processing="AGENTIC",
),
"What are the three main arguments presented?",
],
)
print(response.text)
JavaScript
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
let videoFile = await ai.files.upload({
file: "path/to/lecture.mp4",
config: { mimeType: "video/mp4" },
});
while (videoFile.state === "PROCESSING") {
await new Promise((resolve) => setTimeout(resolve, 2000));
videoFile = await ai.files.get({ name: videoFile.name });
}
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: videoFile.uri,
mimeType: videoFile.mimeType,
},
mediaProcessing: "AGENTIC",
},
{ text: "What are the three main arguments presented?" },
],
},
],
});
console.log(response.text);
ऐप पर जाएं
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/lecture.mp4", nil)
parts := []*genai.Part{
{
FileData: &genai.FileData{
FileURI: uploadedFile.URI,
MIMEType: uploadedFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic,
},
genai.NewPartFromText("What are the three main arguments presented?"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
आराम का समय
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${file_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{"text": "What are the three main arguments presented?"}
]
}]
}'
ध्यान दें: यह पुष्टि करने के लिए कि एजेंटिक प्रोसेसिंग का इस्तेमाल किया गया था,
response.candidates[0].content.partsकी जांच करें.MEDIA_PROCESSINGटूल टाइप के साथtool_callऔरtool_responseके मौजूद होने से पता चलता है कि मॉडल ने वीडियो को डाइनैमिक तरीके से नेविगेट किया है.
ध्यान दें: सर्वर साइड पर काम करने वाले अन्य टूल (जैसे, Google Search या यूआरएल कॉन्टेक्स्ट) के उलट, एजेंटिक वीडियो को टूल कॉल करने और नतीजे दिखाने या स्ट्रीम करने के लिए,
ToolConfigमेंinclude_server_side_tool_invocations=Trueसेट करने की ज़रूरत नहीं होती. वीडियो नेविगेशन के लिए,tool_callऔरtool_responseपार्ट अपने-आप दिखते हैं. ऐसा तब होता है, जब किसी इनपुट पार्ट परmedia_processing="AGENTIC"सेट हो.
जवाब का स्ट्रक्चर
एजेंटिक प्रोसेसिंग चालू होने पर, जवाब में अतिरिक्त हिस्से शामिल होते हैं. इनसे इंटरनल नेविगेशन ट्रेस का पता चलता है:
tool_callparts (tool_type: "MEDIA_PROCESSING"): यह इवेंट तब ट्रिगर होता है, जब मॉडल किसी वीडियो सेगमेंट या ऑडियो ट्रांसक्रिप्ट का अनुरोध करता है.tool_responseपार्ट (tool_type: "MEDIA_PROCESSING"): हर लोड ऑपरेशन का नतीजा.
आपको इन हिस्सों को मैन्युअल तरीके से मैनेज करने या इनका जवाब देने की ज़रूरत नहीं है: पूरे जवाब को बातचीत के इतिहास के तौर पर वापस भेजें. इसके बाद, इन्हें अपने-आप मैनेज किया जाता है.
अगर ThinkingConfig में include_thoughts=True सेट किया गया है, तो जवाब देने के चरणों को thought: true के तौर पर दिखाया जाता है. ये चरण, टूल कॉल/जवाब के जोड़े के साथ इंटरलीव किए जाते हैं. 'सोच' सुविधा बंद होने पर, 'सोच' टेक्स्ट को हटा दिया जाता है, लेकिन टूल के हिस्से अब भी मौजूद होते हैं.
यहां टूल कॉल और जवाब के हिस्सों के साथ इंटरलीव किए गए रिस्पॉन्स पेलोड का उदाहरण दिया गया है:
{
"candidates": [
{
"content": {
"role": "model",
"parts": [
{
"thought": true,
"text": "Inspecting transcript for key discussion topics..."
},
{
"thought_signature": "sig_A",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_B",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Loading visual frames to verify slide content..."
},
{
"thought_signature": "sig_C",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_D",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Synthesizing answer from gathered evidence..."
},
{
"text": "The three main arguments presented in the lecture are...",
"thought_signature": "sig_E"
}
]
}
}
]
}
अलग-अलग वीडियो के लिए, प्रोसेसिंग के अलग-अलग मोड इस्तेमाल करना
एक ही अनुरोध में, हर वीडियो पार्ट के लिए अलग-अलग प्रोसेसिंग मोड सेट किए जा सकते हैं:
Python
from google import genai
from google.genai import types
client = genai.Client()
lecture = client.files.upload(file="path/to/long-lecture.mp4")
experiment = client.files.upload(file="path/to/short-experiment.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=lecture.uri,
mime_type=lecture.mime_type,
media_processing="AGENTIC", # Use agentic video understanding
),
types.Part.from_uri(
file_uri=experiment.uri,
mime_type=experiment.mime_type,
media_processing="STATIC", # Use static processing
),
"Compare the lecture content with the experiment results.",
],
)
print(response.text)
JavaScript
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const lecture = await ai.files.upload({
file: "path/to/long-lecture.mp4",
config: { mimeType: "video/mp4" },
});
const experiment = await ai.files.upload({
file: "path/to/short-experiment.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: lecture.uri,
mimeType: lecture.mimeType,
},
mediaProcessing: "AGENTIC", // Use agentic video understanding
},
{
fileData: {
fileUri: experiment.uri,
mimeType: experiment.mimeType,
},
mediaProcessing: "STATIC", // Use static processing
},
{ text: "Compare the lecture content with the experiment results." },
],
},
],
});
console.log(response.text);
ऐप पर जाएं
lecturePart := &genai.Part{
FileData: &genai.FileData{
FileURI: lectureFile.URI,
MIMEType: lectureFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic, // Use agentic
}
experimentPart := &genai.Part{
FileData: &genai.FileData{
FileURI: experimentFile.URI,
MIMEType: experimentFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingStatic, // Use static
}
parts := []*genai.Part{
lecturePart,
experimentPart,
genai.NewPartFromText("Compare the lecture content with the experiment results."),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(ctx, "gemini-3.8-flash", contents, nil)
fmt.Println(result.Text())
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${lecture_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{
"file_data": {
"file_uri": "'${experiment_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "STATIC"
},
{"text": "Compare the lecture content with the experiment results."}
]
}]
}'
लंबी अवधि के वीडियो के लिए, कॉन्टेक्स्ट कैश मेमोरी का इस्तेमाल करना
अगर वीडियो 10 मिनट से ज़्यादा लंबे हैं या आपको एक ही वीडियो फ़ाइल के ख़िलाफ़ कई अनुरोध करने हैं, तो कॉन्टेक्स्ट कैश मेमोरी का इस्तेमाल करें. इससे लागत कम करने और लेटेन्सी को बेहतर बनाने में मदद मिलती है. कॉन्टेक्स्ट के लिए कैश मेमोरी की सुविधा की मदद से, वीडियो को एक बार प्रोसेस किया जा सकता है. इसके बाद, आने वाली क्वेरी के लिए टोकन का फिर से इस्तेमाल किया जा सकता है. इससे यह चैट सेशन या लंबी अवधि के कॉन्टेंट का बार-बार विश्लेषण करने के लिए बेहतरीन विकल्प बन जाता है.
कॉन्टेंट में टाइमस्टैंप देखें
वीडियो में किसी खास समय पर मौजूद कॉन्टेंट के बारे में सवाल पूछे जा सकते हैं. इसके लिए, MM:SS फ़ॉर्मैट में टाइमस्टैंप का इस्तेमाल करें.
Python
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
myfile,
"What are the examples given at 00:05 and 00:10 supposed to show us?",
],
)
print(response.text)
JavaScript
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
myfile,
"What are the examples given at 00:05 and 00:10 supposed to show us?",
],
});
console.log(response.text);
ऐप पर जाएं
parts := []*genai.Part{
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
genai.NewPartFromText("What are the examples given at 00:05 and 00:10 supposed to show us?"),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
[]*genai.Content{genai.NewContentFromParts(parts, genai.RoleUser)},
nil,
)
fmt.Println(result.Text())
आराम का समय
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data": {"file_uri": "'"${file_uri}"'", "mime_type": "'"${MIME_TYPE}"'"}},
{"text": "What are the examples given at 00:05 and 00:10 supposed to show us?"}
]
}]
}' 2> /dev/null
वीडियो से अहम जानकारी निकालना
Gemini मॉडल, वीडियो कॉन्टेंट को समझने के लिए कई बेहतरीन सुविधाएँ देते हैं. ये मॉडल, ऑडियो और विज़ुअल, दोनों स्ट्रीम से जानकारी प्रोसेस करते हैं. इसकी मदद से, वीडियो के बारे में ज़्यादा जानकारी निकाली जा सकती है. जैसे, वीडियो में क्या हो रहा है, इसका ब्यौरा जनरेट करना और वीडियो के कॉन्टेंट के बारे में सवालों के जवाब देना.
विज़ुअल ब्यौरे के लिए, मॉडल वीडियो को एक फ़्रेम प्रति सेकंड (एफ़पीएस) की दर से सैंपल करता है. डिफ़ॉल्ट सैंपलिंग रेट, ज़्यादातर कॉन्टेंट के लिए सही होता है. हालांकि, ध्यान दें कि तेज़ी से चलने वाले वीडियो या सीन में तेज़ी से बदलाव होने वाले वीडियो में, यह कुछ जानकारी को छोड़ सकता है. ऐसे कॉन्टेंट के लिए, कस्टम फ़्रेम रेट सेट करें.
Python
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
myfile,
"Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.",
],
)
print(response.text)
JavaScript
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
myfile,
"Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.",
],
});
console.log(response.text);
ऐप पर जाएं
parts := []*genai.Part{
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
genai.NewPartFromText("Describe the key events in this video, providing both audio and visual details. " +
"Include timestamps for salient moments."),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
[]*genai.Content{genai.NewContentFromParts(parts, genai.RoleUser)},
nil,
)
fmt.Println(result.Text())
आराम का समय
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data": {"file_uri": "'"${file_uri}"'", "mime_type": "'"${MIME_TYPE}"'"}},
{"text": "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."}
]
}]
}' 2> /dev/null
वीडियो प्रोसेसिंग को पसंद के मुताबिक बनाना
Gemini API में वीडियो प्रोसेसिंग को अपनी पसंद के मुताबिक बनाया जा सकता है. इसके लिए, क्लिपिंग इंटरवल सेट करें या कस्टम फ़्रेम रेट सैंपलिंग की सुविधा का इस्तेमाल करें. कस्टमाइज़ेशन के ये विकल्प, सिर्फ़ "static" मोड में वीडियो प्रोसेस करते समय इस्तेमाल किए जा सकते हैं.
क्लिपिंग इंटरवल सेट करना
शुरू और खत्म होने के ऑफ़सेट के साथ videoMetadata तय करके, वीडियो को क्लिप किया जा सकता है.
Python
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=XEzRZ35urlk'),
video_metadata=types.VideoMetadata(
start_offset='1250s',
end_offset='1570s'
)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
JavaScript
import { GoogleGenAI } from '@google/genai';
const ai = new GoogleGenAI({});
const model = 'gemini-3.8-flash';
async function main() {
const contents = [
{
role: 'user',
parts: [
{
fileData: {
fileUri: 'https://www.youtube.com/watch?v=9hE5-98ZeCg',
mimeType: 'video/*',
},
videoMetadata: {
startOffset: '40s',
endOffset: '80s',
}
},
{
text: 'Please summarize the video in 3 sentences.',
},
],
},
];
const response = await ai.models.generateContent({
model,
contents,
});
console.log(response.text)
}
await main();
कस्टम फ़्रेम रेट सेट करना
videoMetadata में fps आर्ग्युमेंट पास करके, कस्टम फ़्रेम रेट सैंपलिंग सेट की जा सकती है.
Python
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(
data=video_bytes,
mime_type='video/mp4'),
video_metadata=types.VideoMetadata(fps=5)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
JavaScript
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const myfile = await ai.files.upload({
file: "path/to/sample.mp4",
mimeType: "video/mp4",
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
fileData: {
fileUri: myfile.uri,
mimeType: myfile.mimeType,
},
videoMetadata: {
fps: 5,
},
},
"Please summarize the video in 3 sentences.",
],
});
console.log(response.text);
डिफ़ॉल्ट रूप से, वीडियो से एक फ़्रेम प्रति सेकंड (एफ़पीएस) का सैंपल लिया जाता है. लंबे वीडियो के लिए, कम एफ़पीएस (< 1) सेट करें. यह सुविधा, खास तौर पर ऐसे वीडियो के लिए मददगार है जिनमें ज़्यादा हलचल नहीं होती. जैसे, लेक्चर वाले वीडियो. उन वीडियो के लिए ज़्यादा एफ़पीएस का इस्तेमाल करें जिनमें समय के हिसाब से बारीकी से विश्लेषण करने की ज़रूरत होती है. जैसे, तेज़ ऐक्शन को समझना या तेज़ रफ़्तार से होने वाली गतिविधि को ट्रैक करना.
काम करने वाले वीडियो फ़ॉर्मैट
Gemini, वीडियो फ़ॉर्मैट के इन एमआईएमई टाइप के साथ काम करता है:
video/mp4video/mpegvideo/quicktimevideo/avivideo/x-flvvideo/mpgvideo/webmvideo/wmvvideo/3gpp
वीडियो के बारे में तकनीकी जानकारी
- इस्तेमाल किए जा सकने वाले मॉडल और कॉन्टेक्स्ट: सभी Gemini मॉडल, वीडियो डेटा को प्रोसेस कर सकते हैं.
- 10 लाख टोकन वाली कॉन्टेक्स्ट विंडो वाले मॉडल, डिफ़ॉल्ट रूप से तीन घंटे तक के वीडियो प्रोसेस कर सकते हैं. हालांकि, इसके लिए वीडियो का रिज़ॉल्यूशन कम होना चाहिए. अगर वीडियो का रिज़ॉल्यूशन ज़्यादा है, तो ये मॉडल एक घंटे तक के वीडियो प्रोसेस कर सकते हैं.
- प्रोसेसिंग मोड: Gemini 4 Argon, 3.8 Flash, 3.6 Flash, 3.5 Flash Lite, और इसके बाद के मॉडल, वीडियो प्रोसेसिंग के दो मोड के साथ काम करते हैं:
- स्टैटिक: फ़्रेम, 1 एफ़पीएस पर निकाले जाते हैं और उन्हें कॉन्टेक्स्ट में रखा जाता है. यह सभी मॉडल के लिए डिफ़ॉल्ट रूप से उपलब्ध होता है. ऑडियो को 1 केबीपीएस (सिंगल चैनल) पर प्रोसेस किया जाता है. हर सेकंड के लिए टाइमस्टैंप जोड़े जाते हैं. यह छोटी क्लिप या ऐसे वीडियो के लिए सबसे सही है जिसमें हर फ़्रेम मायने रखता है. जैसे, फ़्रेम-दर-फ़्रेम जांच. ध्यान दें कि 1 एफ़पीएस सैंपलिंग रेट की वजह से, फ़ास्ट ऐक्शन सीक्वेंस में जानकारी कम हो सकती है.
- एजेंटिक: मॉडल, वीडियो को डाइनैमिक तरीके से नेविगेट करता है. साथ ही, मांग के हिसाब से ट्रांसक्रिप्ट और/या फ़्रेम और/या ऑडियो लोड करता है. यह लंबी अवधि के कॉन्टेंट के लिए, 88% तक कम टोकन का इस्तेमाल करता है. हालांकि, नेविगेशन की वजह से, पहली बार टोकन मिलने में लगने वाला समय (टीटीएफटी) और छोटी क्लिप (<5 मिनट) या सामान्य क्वेरी पर टोकन का कुल इस्तेमाल बढ़ सकता है. ऐसा, अंदरूनी तर्क और टूल राउंड-ट्रिप की वजह से होता है.
जवाबों में
MEDIA_PROCESSINGटूल कॉल और जवाब के हिस्से शामिल होते हैं, ताकि हर बार जवाब देने के लिए सही कॉन्टेक्स्ट का इस्तेमाल किया जा सके. यह लंबी अवधि के वीडियो और टारगेट की जाने वाली क्वेरी के लिए सबसे सही है. इससे टोकन की लागत को ऑप्टिमाइज़ करने और जवाब की क्वालिटी को बेहतर बनाने में मदद मिलती है. यह सुविधा, Gemini 4 Argon, 3.8 Flash, 3.6 Flash, और 3.5 Flash Lite पर काम करती है. ज़्यादा जानकारी के लिए, एजेंटिक वीडियो अंडरस्टैंडिंग देखें.
- टोकन कैलकुलेशन (स्टैटिक मोड): वीडियो के हर सेकंड को इस तरह टोकन में बदला जाता है:
- अलग-अलग फ़्रेम (1 एफ़पीएस पर सैंपल किए गए):
- अगर
media_resolutionको कम पर सेट किया जाता है, तो फ़्रेम को हर फ़्रेम के लिए 66 टोकन पर टोकनाइज़ किया जाता है. - अगर ऐसा नहीं है, तो फ़्रेम को 258 टोकन प्रति फ़्रेम के हिसाब से टोकनाइज़ किया जाता है.
- अगर
- ऑडियो: हर सेकंड 32 टोकन.
- इसमें मेटाडेटा भी शामिल होता है.
- कुल: डिफ़ॉल्ट (कम) मीडिया रिज़ॉल्यूशन पर, वीडियो के हर सेकंड के लिए करीब 100 टोकन या हाई मीडिया रिज़ॉल्यूशन पर, वीडियो के हर सेकंड के लिए करीब 300 टोकन.
- अलग-अलग फ़्रेम (1 एफ़पीएस पर सैंपल किए गए):
- टोकन की गिनती (एजेंटिक मोड): टोकन का इस्तेमाल, कॉन्टेंट की जटिलता और मॉडल की नेविगेशन रणनीति के आधार पर अलग-अलग होता है. वीडियो एक्सप्लोर करने के दौरान जनरेट हुए नेविगेशन रीज़निंग टोकन, थिंकिंग टोकन (
thoughts_token_count) के तौर पर गिने जाते हैं. वहीं, मांग पर लोड किए गए फ़्रेम, ऑडियो, और ट्रांसक्रिप्ट को टूल प्रॉम्प्ट टोकन (tool_use_prompt_token_count) के तौर पर गिना जाता है. एजेंटिक प्रोसेसिंग में, लंबी अवधि के कॉन्टेंट के लिए स्टैटिक प्रोसेसिंग की तुलना में, आम तौर पर 88% कम टोकन इस्तेमाल होते हैं. ऐसा इसलिए होता है, क्योंकि मॉडल सिर्फ़ उस ट्रांसक्रिप्ट और/या फ़्रेम और/या ऑडियो को लोड करता है जिसकी ज़रूरत प्रॉम्प्ट का जवाब देने के लिए होती है. ज़्यादा जानकारी के लिए, टोकन गाइड देखें. - मीडिया रिज़ॉल्यूशन: Gemini 3 में,
media_resolutionपैरामीटर की मदद से मल्टीमोडल विज़न प्रोसेसिंग को बेहतर तरीके से कंट्रोल किया जा सकता है.media_resolutionपैरामीटर से यह तय होता है कि हर इनपुट इमेज या वीडियो फ़्रेम के लिए, ज़्यादा से ज़्यादा कितने टोकन मिलेंगे. ज़्यादा रिज़ॉल्यूशन से, मॉडल को छोटे टेक्स्ट को पढ़ने या छोटी-छोटी जानकारी की पहचान करने में मदद मिलती है. हालांकि, इससे टोकन का इस्तेमाल और इंतज़ार का समय बढ़ जाता है.media_resolutionऔरmedia_processingपैरामीटर एक-दूसरे से अलग होते हैं: दोनों को वीडियो के एक ही हिस्से पर सेट किया जा सकता है.
टोकन की गिनती के बारे में ज़्यादा जानने के लिए, टोकन गाइड देखें.
- टाइमस्टैंप का फ़ॉर्मैट: अगर आपको अपने प्रॉम्प्ट में किसी वीडियो के खास पलों के बारे में बताना है, तो
MM:SSफ़ॉर्मैट का इस्तेमाल करें. उदाहरण के लिए, 1 मिनट और 15 सेकंड के लिए01:15का इस्तेमाल करें. - प्रॉम्प्ट का प्लेसमेंट: अगर टेक्स्ट और एक वीडियो को साथ में इस्तेमाल किया जा रहा है, तो
contentsऐरे में वीडियो वाले हिस्से के बाद टेक्स्ट प्रॉम्प्ट को रखें. - लंबे अनुरोधों के लिए टाइमआउट: जिन वीडियो को प्रोसेस करने में ज़्यादा समय लगता है या जिनमें कई चरणों वाली जटिल प्रोसेस शामिल होती है उनके लिए, स्ट्रीमिंग (
client.models.generate_content_stream) का इस्तेमाल करें. सिंक्रोनस, नॉन-स्ट्रीमिंग अनुरोधों के लिए, बैकएंड से फिर से कोशिश करने पर, कनेक्शन या पुष्टि करने वाले टोकन की वैधता की अवधि खत्म हो सकती है. इससे,401 Unauthorizedया टाइमआउट से जुड़ी गड़बड़ियां दिख सकती हैं. स्ट्रीमिंग से कनेक्शन चालू रहता है. साथ ही, इससे बीच-बीच में तर्क और टूल कॉल की प्रोग्रेस दिखती है.
आगे क्या करना है
- मीडिया रिज़ॉल्यूशन: वीडियो फ़्रेम के रिज़ॉल्यूशन को कंट्रोल करें, ताकि क्वालिटी और टोकन के इस्तेमाल को बैलेंस किया जा सके.
- टोकन: जानें कि स्टैटिक और एजेंटिक, दोनों प्रोसेसिंग मोड में वीडियो कॉन्टेंट को कैसे टोकनाइज़ किया जाता है.
- सिस्टम के लिए निर्देश: सिस्टम के लिए निर्देश देने पर, मॉडल को आपकी खास ज़रूरतों और इस्तेमाल के उदाहरणों के हिसाब से काम करने के लिए कहा जा सकता है.
- Files API: Gemini के साथ इस्तेमाल करने के लिए, फ़ाइलें अपलोड करने और उन्हें मैनेज करने के बारे में ज़्यादा जानें.
- फ़ाइल प्रॉम्प्ट करने की रणनीतियां: Gemini API, टेक्स्ट, इमेज, ऑडियो, और वीडियो डेटा के साथ प्रॉम्प्ट करने की सुविधा देता है. इसे मल्टीमॉडल प्रॉम्प्टिंग भी कहा जाता है.
- सुरक्षा से जुड़ी गाइडलाइन: कभी-कभी जनरेटिव एआई मॉडल ऐसे आउटपुट जनरेट करते हैं जिनकी उम्मीद नहीं होती. जैसे, गलत, पक्षपात वाले या आपत्तिजनक आउटपुट. इस तरह के आउटपुट से होने वाले नुकसान के जोखिम को कम करने के लिए, पोस्ट-प्रोसेसिंग और मैन्युअल तरीके से आकलन करना ज़रूरी है.