ভিডিও জেনারেশন সম্পর্কে জানতে, Gemini Omni Flash গাইড দেখুন।
Gemini মডেল ভিডিও প্রসেস করতে পারে, এর ফলে অনেক ফ্রন্টিয়ার ডেভেলপার ব্যবহারিক কেস ব্যবহার করতে পারেন যেগুলির জন্য আগে ডোমেন নির্দিষ্ট মডেলের প্রয়োজন হত। Gemini-র কিছু ভিশন ক্ষমতার মধ্যে রয়েছে: ভিডিওর বর্ণনা, সেগমেন্ট করা, এবং তথ্য এক্সট্র্যাক্ট করা, ভিডিও কন্টেন্ট সম্পর্কে প্রশ্নের উত্তর দেওয়া এবং ভিডিওর মধ্যে নির্দিষ্ট টাইমস্ট্যাম্প উল্লেখ করা।
আপনি নিম্নলিখিত উপায়ে Gemini-তে ইনপুট হিসেবে ভিডিও প্রদান করতে পারবেন:
| ইনপুট পদ্ধতি | সর্বাধিক সাইজ | সাজেস্ট করা ব্যবহারের ক্ষেত্র |
|---|---|---|
| File API | ২০ জিবি (পেমেন্ট করা) / ২ জিবি (ফ্রি) | বড় ফাইল (১০০ এমবির বেশি), দীর্ঘ ভিডিও (১০ মিনিটের বেশি), আবার ব্যবহারযোগ্য ফাইল। |
| Cloud Storage রেজিস্ট্রেশন | ২ জিবি (প্রতি ফাইল, কোনও স্টোরেজ সীমা নেই) | বড় ফাইল (১০০ এমবি+), দীর্ঘ ভিডিও (১০ মিনিট+), স্থায়ী, আবার ব্যবহারযোগ্য ফাইল। |
| ইনলাইন ডেটা | < ১০০এমবি | ছোট ফাইল (<১০০এমবি), কম সময়সীমা (<১মিনিট), একবার ইনপুট। |
| YouTube URL | প্রযোজ্য নয় | সর্বজনীন YouTube ভিডিও। |
মনে রাখবেন: বেশিরভাগ ব্যবহারের ক্ষেত্রে, বিশেষ করে ১০০ এমবির চেয়ে বড় ফাইল বা একাধিক অনুরোধে ফাইলটি আবার ব্যবহার করতে চাইলে, File API ব্যবহার করার জন্য সাজেস্ট করা হয়।
অন্যান্য ফাইল ইনপুট পদ্ধতি সম্পর্কে জানতে, যেমন এক্সটার্নাল URL বা Google Cloud-এ সেভ করা ফাইল ব্যবহার করা ফাইল ইনপুট পদ্ধতি গাইড দেখুন।
ভিডিও ফাইল আপলোড করা
নিচের কোডটি একটি স্যাম্পেল ভিডিও ডাউনলোড করে, Files API ব্যবহার করে সেটি আপলোড করে, সেটি প্রসেস হওয়ার জন্য অপেক্ষা করে এবং তারপর ভিডিওর সারসংক্ষেপ তৈরি করতে আপলোড করা ফাইলের রেফারেন্স ব্যবহার করে।
Python
from google import genai
client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash", contents=[myfile, "Summarize this video. Then create a quiz with an answer key based on the information in this video."]
)
print(response.text)
জাভাস্ক্রিপ্ট
import {
GoogleGenAI,
createUserContent,
createPartFromUri,
} from "@google/genai";
const ai = new GoogleGenAI({});
async function main() {
const myfile = await ai.files.upload({
file: "path/to/sample.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: createUserContent([
createPartFromUri(myfile.uri, myfile.mimeType),
"Summarize this video. Then create a quiz with an answer key based on the information in this video.",
]),
});
console.log(response.text);
}
await main();
খুলুন
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/sample.mp4", nil)
parts := []*genai.Part{
genai.NewPartFromText("Summarize this video. Then create a quiz with an answer key based on the information in this video."),
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
REST
VIDEO_PATH="path/to/sample.mp4"
MIME_TYPE=$(file -b --mime-type "${VIDEO_PATH}")
NUM_BYTES=$(wc -c < "${VIDEO_PATH}")
DISPLAY_NAME=VIDEO
tmp_header_file=upload-header.tmp
echo "Starting file upload..."
curl "https://generativelanguage.googleapis.com/upload/v1beta/files" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-D ${tmp_header_file} \
-H "X-Goog-Upload-Protocol: resumable" \
-H "X-Goog-Upload-Command: start" \
-H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
-H "Content-Type: application/json" \
-d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null
upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"
echo "Uploading video data..."
curl "${upload_url}" \
-H "Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Offset: 0" \
-H "X-Goog-Upload-Command: upload, finalize" \
--data-binary "@${VIDEO_PATH}" 2> /dev/null > file_info.json
file_uri=$(jq -r ".file.uri" file_info.json)
echo file_uri=$file_uri
echo "File uploaded successfully. File URI: ${file_uri}"
# --- 3. Generate content using the uploaded video file ---
echo "Generating content from video..."
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data":{"mime_type": "'"${MIME_TYPE}"'", "file_uri": "'"${file_uri}"'"}},
{"text": "Summarize this video. Then create a quiz with an answer key based on the information in this video."}]
}]
}' 2> /dev/null > response.json
jq -r ".candidates[].content.parts[].text" response.json
টোকেন এফিশিয়েন্সি ও পারফর্ম্যান্স অপ্টিমাইজ করতে, এগুলি ব্যবহার করার কথা বিবেচনা করুন: এজেন্টিক ভিডিও প্রসেসিং।
মোট অনুরোধের সাইজ (ফাইল, টেক্সট প্রম্পট, সিস্টেম নির্দেশাবলী ইত্যাদি সহ) ২০ এমবির বেশি হলে, ভিডিওর সময়সীমা উল্লেখযোগ্য হলে অথবা আপনি একাধিক প্রম্পটে একই ভিডিও ব্যবহার করতে চাইলে, সবসময় Files API ব্যবহার করুন। File API সরাসরি ভিডিও ফাইল ফর্ম্যাট গ্রহণ করে।
মিডিয়া ফাইল নিয়ে কাজ করা সম্পর্কে আরও জানতে, Files API দেখুন।
ইনলাইন ভিডিও ডেটা পাস করা
File API ব্যবহার করে ভিডিও ফাইল আপলোড করার পরিবর্তে, আপনি generateContent-এ সরাসরি অনুরোধে ছোট
ভিডিও পাস করতে পারেন। ২০ এমবি মোট অনুরোধের সাইজের
ছোট ভিডিওর জন্য এটি উপযুক্ত।
ইনলাইন ভিডিও ডেটা প্রদান করার একটি উদাহরণ এখানে দেওয়া হল:
Python
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(data=video_bytes, mime_type='video/mp4')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";
const ai = new GoogleGenAI({});
const base64VideoFile = fs.readFileSync("path/to/small-sample.mp4", {
encoding: "base64",
});
const contents = [
{
inlineData: {
mimeType: "video/mp4",
data: base64VideoFile,
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
REST
VIDEO_PATH=/path/to/your/video.mp4
if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
B64FLAGS="--input"
else
B64FLAGS="-w0"
fi
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{
"inline_data": {
"mime_type":"video/mp4",
"data": "'$(base64 $B64FLAGS $VIDEO_PATH)'"
}
},
{"text": "Please summarize the video in 3 sentences."}
]
}]
}' 2> /dev/null
YouTube URL পাস করা
আপনি নিজের অনুরোধের অংশ হিসেবে YouTube URL সরাসরি Gemini API-তে পাস করতে পারেন, যেমন:
Python
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=9hE5-98ZeCg')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const contents = [
{
fileData: {
fileUri: "https://www.youtube.com/watch?v=9hE5-98ZeCg",
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
খুলুন
package main
import (
"context"
"fmt"
"os"
"google.golang.org/genai"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
parts := []*genai.Part{
genai.NewPartFromText("Please summarize the video in 3 sentences."),
genai.NewPartFromURI("https://www.youtube.com/watch?v=9hE5-98ZeCg","video/mp4"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
}
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"text": "Please summarize the video in 3 sentences."},
{
"file_data": {
"file_uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
}
}
]
}]
}' 2> /dev/null
সীমাবদ্ধতা:
- ফ্রি টিয়ারের ক্ষেত্রে, আপনি প্রতিদিন ৮ ঘণ্টার বেশি YouTube ভিডিও আপলোড করতে পারবেন না।
- পেমেন্ট করা টিয়ারের ক্ষেত্রে, ভিডিওর দৈর্ঘ্যের উপর ভিত্তি করে কোনও সীমা নেই।
- Gemini 2.5-এর আগের মডেলের ক্ষেত্রে, আপনি অনুরোধ পিছু শুধুমাত্র ১টি ভিডিও আপলোড করতে পারবেন। Gemini 2.5 ও তার পরের মডেলের ক্ষেত্রে, আপনি প্রতি অনুরোধে সর্বাধিক ১০টি ভিডিও আপলোড করতে পারবেন।
- আপনি শুধুমাত্র সর্বজনীন ভিডিও আপলোড করতে পারবেন (ব্যক্তিগত বা তালিকাভুক্ত নয় এমন ভিডিও নয়)।
এজেন্টিক ভিডিও বোঝা
ডিফল্ট হিসেবে, ভিডিও ইনপুট স্ট্যাটিক প্রসেসিং ব্যবহার করে (১ FPS-এ ফ্রেম এক্সট্র্যাক্ট করে)। এছাড়াও, Gemini 3.8 Flash, 3.6 Flash ও 3.5 Flash Lite মডেল এজেন্টিক ভিডিও আন্ডারস্ট্যান্ডিং-এ কাজ করে, যেখানে মডেলটি ভিডিও টাইমলাইন ডায়নামিক এক্সপ্লোর করে, বেছে বেছে ট্রান্সক্রিপ্ট চেক করে এবং প্রম্পটের উপর ভিত্তি করে ফ্রেম রেট ও রেজোলিউশন অ্যাডজাস্ট করে।
| মোড | বিবরণ | যেসব মডেলে কাজ করে |
|---|---|---|
| স্ট্যাটিক (ডিফল্ট) | একটি নির্দিষ্ট রেটে (১ FPS) ফ্রেম এক্সট্র্যাক্ট করে এবং সেগুলি একটি সিঙ্গেল পাসে প্রাসঙ্গিক জায়গায় প্লেস করে। ছোট ক্লিপের জন্য ভালো কাজ করে। | সব Gemini মডেল |
| এজেন্টিক | প্রম্পটের উপর ভিত্তি করে মডেলটি ভিডিও টাইমলাইন ডায়নামিক নেভিগেট করে এবং শুধুমাত্র প্রয়োজনীয় কন্টেন্ট লোড করে। ৮৮% পর্যন্ত বেশি টোকেন-দক্ষ এবং বড়-ফর্মের কন্টেন্টে ~৭% বেশি কোয়ালিটি। | Gemini 3.8 Flash, 3.6 Flash, 3.5 Flash Lite |
প্রসেসিং মোড বেছে নিন
সাধারণ নির্দেশিকা হিসেবে, এজেন্টিক মোড দিয়ে শুরু করুন, বিশেষ করে যখন উত্তরের কোয়ালিটি বা টোকেন এফিসিয়েন্সি অপ্টিমাইজ করা হচ্ছে।
- এজেন্টিক: বড় দৈর্ঘ্যের ভিডিও বা নির্দিষ্ট মুহূর্ত টার্গেট করা কোয়েরি। মডেলটি কন্টেক্সট উইন্ডো পূরণ না করেই, প্রাসঙ্গিক তথ্য টার্গেট করতে টাইমলাইন ডায়নামিক নেভিগেট করে।
- স্ট্যাটিক: ছোট ক্লিপে (৫ মিনিটের কম) লেটেন্সি-সংবেদনশীল কোয়েরি অথবা এমন কেস যেখানে সম্পূর্ণ ক্লিপ জুড়ে ফ্রেম-লেভেল নির্ভুলতা প্রয়োজন।
মনে রাখবেন: বড় ভিডিও বা জটিল প্রম্পটের ক্ষেত্রে, যেখানে এজেন্টিক প্রসেসিং করতে বেশি সময় লাগে, সেখানে স্ট্রিমিং (
client.models.generate_content_stream) ব্যবহার করুন। এটি কানেকশন অ্যাক্টিভ রাখে, মধ্যবর্তী যুক্তিযুক্ত ধাপগুলি দেখায় এবং কানেকশন বা অথেন্টিকেশন টাইম-আউট এড়ায়।
প্রসেসিং মোড সেট করা
Python
import time
from google import genai
from google.genai import types
client = genai.Client()
video_file = client.files.upload(file="path/to/lecture.mp4")
while video_file.state.name == "PROCESSING":
time.sleep(2)
video_file = client.files.get(name=video_file.name)
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=video_file.uri,
mime_type=video_file.mime_type,
media_processing="AGENTIC",
),
"What are the three main arguments presented?",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
let videoFile = await ai.files.upload({
file: "path/to/lecture.mp4",
config: { mimeType: "video/mp4" },
});
while (videoFile.state === "PROCESSING") {
await new Promise((resolve) => setTimeout(resolve, 2000));
videoFile = await ai.files.get({ name: videoFile.name });
}
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: videoFile.uri,
mimeType: videoFile.mimeType,
},
mediaProcessing: "AGENTIC",
},
{ text: "What are the three main arguments presented?" },
],
},
],
});
console.log(response.text);
খুলুন
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/lecture.mp4", nil)
parts := []*genai.Part{
{
FileData: &genai.FileData{
FileURI: uploadedFile.URI,
MIMEType: uploadedFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic,
},
genai.NewPartFromText("What are the three main arguments presented?"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${file_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{"text": "What are the three main arguments presented?"}
]
}]
}'
মনে রাখবেন: এজেন্টিক প্রসেসিং ব্যবহার করা হয়েছে কিনা তা যাচাই করতে,
response.candidates[0].content.partsচেক করুন।MEDIA_PROCESSINGটুল টাইপের সাথেtool_callওtool_responseপার্ট থাকলে বুঝতে হবে যে মডেলটি ভিডিওতে ডায়নামিক নেভিগেট করেছে।
মনে রাখবেন: অন্যান্য সার্ভার-সাইড টুলের (যেমন, Google Search বা URL কনটেক্সট) মতো, এজেন্টিক ভিডিওতে টুল কল ও ফলাফল রিটার্ন বা স্ট্রিম করার জন্য
include_server_side_tool_invocations=TrueToolConfigসেট করার প্রয়োজন হয় না। ভিডিও নেভিগেশনের জন্যtool_callএবংtool_responseঅংশ কোনও ইনপুট অংশেmedia_processing="AGENTIC"সেট করা হলে অটোমেটিক রিটার্ন করা হয়।
উত্তরের স্ট্রাকচার
এজেন্টিক প্রসেসিং চালু করা থাকলে, উত্তরে অতিরিক্ত অংশ থাকে যা ইন্টার্নাল নেভিগেশন ট্রেস প্রকাশ করে:
tool_callপার্ট (tool_type: "MEDIA_PROCESSING"): মডেল যখনই কোনও ভিডিও সেগমেন্ট বা অডিও ট্রান্সক্রিপ্টের অনুরোধ করে, তখনই এগুলি তৈরি হয়।tool_responseপার্ট (tool_type: "MEDIA_PROCESSING"): প্রতিটি লোড অপারেশনের ফলাফল।
আপনাকে এইসব অংশ ম্যানুয়ালি হ্যান্ডেল বা উত্তর দিতে হবে না: কথোপকথনের ইতিহাস হিসেবে সম্পূর্ণ উত্তরটি ফেরত দিন এবং সেগুলি অটোমেটিক হ্যান্ডেল করা হবে।
ThinkingConfig-এ include_thoughts=True সেট করা থাকলে, টুল কল/রেসপন্স পেয়ারের সাথে ইন্টারলিভ করা thought: true পার্ট হিসেবে যুক্তিপূর্ণ ধাপ দেখা যায়। থট বন্ধ করা থাকলে, থট টেক্সট বাদ দেওয়া হয়, কিন্তু টুলের অংশগুলি এখনও থাকে।
নিচের উদাহরণে ইন্টারলিভ করা টুল কল ও উত্তরের অংশ সহ উত্তরের পেলোড দেখানো হয়েছে:
{
"candidates": [
{
"content": {
"role": "model",
"parts": [
{
"thought": true,
"text": "Inspecting transcript for key discussion topics..."
},
{
"thought_signature": "sig_A",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_B",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Loading visual frames to verify slide content..."
},
{
"thought_signature": "sig_C",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_D",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Synthesizing answer from gathered evidence..."
},
{
"text": "The three main arguments presented in the lecture are...",
"thought_signature": "sig_E"
}
]
}
}
]
}
বিভিন্ন ভিডিওতে প্রসেসিং মোড মিক্স করা
একই অনুরোধে প্রতিটি ভিডিও পার্টের জন্য আলাদা আলাদা প্রসেসিং মোড সেট করতে পারবেন:
Python
from google import genai
from google.genai import types
client = genai.Client()
lecture = client.files.upload(file="path/to/long-lecture.mp4")
experiment = client.files.upload(file="path/to/short-experiment.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=lecture.uri,
mime_type=lecture.mime_type,
media_processing="AGENTIC", # Use agentic video understanding
),
types.Part.from_uri(
file_uri=experiment.uri,
mime_type=experiment.mime_type,
media_processing="STATIC", # Use static processing
),
"Compare the lecture content with the experiment results.",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const lecture = await ai.files.upload({
file: "path/to/long-lecture.mp4",
config: { mimeType: "video/mp4" },
});
const experiment = await ai.files.upload({
file: "path/to/short-experiment.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: lecture.uri,
mimeType: lecture.mimeType,
},
mediaProcessing: "AGENTIC", // Use agentic video understanding
},
{
fileData: {
fileUri: experiment.uri,
mimeType: experiment.mimeType,
},
mediaProcessing: "STATIC", // Use static processing
},
{ text: "Compare the lecture content with the experiment results." },
],
},
],
});
console.log(response.text);
খুলুন
lecturePart := &genai.Part{
FileData: &genai.FileData{
FileURI: lectureFile.URI,
MIMEType: lectureFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic, // Use agentic
}
experimentPart := &genai.Part{
FileData: &genai.FileData{
FileURI: experimentFile.URI,
MIMEType: experimentFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingStatic, // Use static
}
parts := []*genai.Part{
lecturePart,
experimentPart,
genai.NewPartFromText("Compare the lecture content with the experiment results."),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(ctx, "gemini-3.8-flash", contents, nil)
fmt.Println(result.Text())
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${lecture_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{
"file_data": {
"file_uri": "'${experiment_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "STATIC"
},
{"text": "Compare the lecture content with the experiment results."}
]
}]
}'
দীর্ঘ ভিডিওর জন্য কন্টেক্সট ক্যাশিং ব্যবহার করা
১০ মিনিটের বেশি দৈর্ঘ্যের ভিডিওর ক্ষেত্রে অথবা একই ভিডিও ফাইলের বিরুদ্ধে একাধিক অনুরোধ করার পরিকল্পনা করলে, খরচ কমাতে এবং লেটেন্সি উন্নত করতে কনটেক্সট ক্যাশিং ব্যবহার করুন। কনটেক্সট ক্যাশিং আপনাকে ভিডিওটি একবার প্রসেস করতে এবং পরবর্তী কোয়েরির জন্য টোকেনগুলি আবার ব্যবহার করতে দেয়, এটি চ্যাট সেশন বা বড় দৈর্ঘ্যের কন্টেন্টের বারবার বিশ্লেষণের জন্য আদর্শ।
কন্টেন্টে টাইমস্ট্যাম্পের উল্লেখ করুন
আপনি ভিডিওর মধ্যে নির্দিষ্ট কোনও পয়েন্ট সম্পর্কে প্রশ্ন করতে পারেন, এর জন্য MM:SS ফর্মের টাইমস্ট্যাম্প
ব্যবহার করুন।
Python
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
myfile,
"What are the examples given at 00:05 and 00:10 supposed to show us?",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
myfile,
"What are the examples given at 00:05 and 00:10 supposed to show us?",
],
});
console.log(response.text);
খুলুন
parts := []*genai.Part{
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
genai.NewPartFromText("What are the examples given at 00:05 and 00:10 supposed to show us?"),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
[]*genai.Content{genai.NewContentFromParts(parts, genai.RoleUser)},
nil,
)
fmt.Println(result.Text())
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data": {"file_uri": "'"${file_uri}"'", "mime_type": "'"${MIME_TYPE}"'"}},
{"text": "What are the examples given at 00:05 and 00:10 supposed to show us?"}
]
}]
}' 2> /dev/null
ভিডিও থেকে বিস্তারিত ইনসাইট এক্সট্র্যাক্ট করা
Gemini মডেল অডিও ও ভিজ্যুয়াল স্ট্রিম থেকে পাওয়া তথ্য প্রসেস করে ভিডিও কন্টেন্ট বোঝার জন্য শক্তিশালী ক্ষমতা প্রদান করে। এর ফলে আপনি ভিডিওতে কী ঘটছে তার বিবরণ জেনারেট করা এবং সেটির কন্টেন্ট সম্পর্কে প্রশ্নের উত্তর দেওয়া সহ বিবিধ বিবরণ এক্সট্র্যাক্ট করতে পারবেন।
ভিজ্যুয়াল বিবরণের জন্য, মডেলটি প্রতি সেকেন্ডে ১টি ফ্রেম (FPS) রেটে ভিডিও স্যাম্পেল করে। এই ডিফল্ট স্যাম্পেলিং রেট বেশিরভাগ কন্টেন্টের জন্য ভাল কাজ করে, তবে মনে রাখবেন যে দ্রুত মোশন বা দ্রুত দৃশ্য পরিবর্তন সহ ভিডিওতে এটি বিবরণ মিস করতে পারে। এই ধরনের হাই-মোশন কন্টেন্টের জন্য, কাস্টম ফ্রেম রেট সেট করার কথা বিবেচনা করুন।
Python
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
myfile,
"Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
myfile,
"Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.",
],
});
console.log(response.text);
খুলুন
parts := []*genai.Part{
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
genai.NewPartFromText("Describe the key events in this video, providing both audio and visual details. " +
"Include timestamps for salient moments."),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
[]*genai.Content{genai.NewContentFromParts(parts, genai.RoleUser)},
nil,
)
fmt.Println(result.Text())
REST
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data": {"file_uri": "'"${file_uri}"'", "mime_type": "'"${MIME_TYPE}"'"}},
{"text": "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."}
]
}]
}' 2> /dev/null
ভিডিও প্রসেসিং কাস্টমাইজ করা
আপনি ক্লিপিং
ইন্টারভ্যাল সেট করে অথবা কাস্টম ফ্রেম রেট স্যাম্পেলিং প্রদান করে Gemini API-তে ভিডিও প্রসেসিং কাস্টমাইজ করতে পারবেন। এইসব কাস্টমাইজেশন বিকল্প
ভিডিও "static" মোডে প্রসেস করার সময় শুধুমাত্র কাজ করে।
ক্লিপিং ইন্টারভ্যাল সেট করা
আপনি videoMetadata সহ শুরু ও শেষের অফসেট নির্দিষ্ট করে ভিডিও ক্লিপ করতে পারবেন।
Python
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=XEzRZ35urlk'),
video_metadata=types.VideoMetadata(
start_offset='1250s',
end_offset='1570s'
)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from '@google/genai';
const ai = new GoogleGenAI({});
const model = 'gemini-3.8-flash';
async function main() {
const contents = [
{
role: 'user',
parts: [
{
fileData: {
fileUri: 'https://www.youtube.com/watch?v=9hE5-98ZeCg',
mimeType: 'video/*',
},
videoMetadata: {
startOffset: '40s',
endOffset: '80s',
}
},
{
text: 'Please summarize the video in 3 sentences.',
},
],
},
];
const response = await ai.models.generateContent({
model,
contents,
});
console.log(response.text)
}
await main();
কাস্টম ফ্রেম রেট সেট করা
আপনি fps আর্গুমেন্ট পাস করে
videoMetadata কাস্টম ফ্রেম রেট স্যাম্পেলিং সেট করতে পারবেন।
Python
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(
data=video_bytes,
mime_type='video/mp4'),
video_metadata=types.VideoMetadata(fps=5)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const myfile = await ai.files.upload({
file: "path/to/sample.mp4",
mimeType: "video/mp4",
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
fileData: {
fileUri: myfile.uri,
mimeType: myfile.mimeType,
},
videoMetadata: {
fps: 5,
},
},
"Please summarize the video in 3 sentences.",
],
});
console.log(response.text);
ডিফল্ট হিসেবে ভিডিও থেকে প্রতি সেকেন্ডে ১টি ফ্রেম (FPS) স্যাম্পেল করা হয়। দীর্ঘ ভিডিওর জন্য আপনি কম FPS (< 1) সেট করতে পারেন। এটি বিশেষ করে বেশিরভাগ স্ট্যাটিক ভিডিওর (যেমন, লেকচার) ক্ষেত্রে উপযোগী। দ্রুত অ্যাকশন বোঝা বা হাই-স্পিড মোশন ট্র্যাকিংয়ের মতো গ্র্যানুলার টেম্পোরাল বিশ্লেষণ প্রয়োজন এমন ভিডিওর জন্য বেশি FPS ব্যবহার করুন।
কাজ করে এমন ভিডিও ফর্ম্যাট
Gemini-তে নিম্নলিখিত ভিডিও ফর্ম্যাট MIME ধরন কাজ করে:
video/mp4video/mpegvideo/quicktimevideo/avivideo/x-flvvideo/mpgvideo/webmvideo/wmvvideo/3gpp
ভিডিও সম্পর্কে টেকনিক্যাল বিবরণ
- কাজ করে এমন মডেল ও প্রসঙ্গ: সব Gemini মডেল ভিডিও ডেটা প্রসেস করতে পারে।
- ১ মিলিয়ন কন্টেক্সট উইন্ডো সহ মডেলগুলি ডিফল্ট হিসেবে (কম মিডিয়া রেজোলিউশনে) সর্বাধিক ৩ ঘণ্টা দৈর্ঘ্যের ভিডিও প্রসেস করতে পারে অথবা হাই মিডিয়া রেজোলিউশনে সর্বাধিক ১ ঘণ্টা দৈর্ঘ্যের ভিডিও প্রসেস করতে পারে।
- প্রসেসিং মোড: Gemini 3.8 Flash, 3.6 Flash, 3.5 Flash Lite,
এবং এর পরের মডেলগুলি দুটি ভিডিও প্রসেসিং মোডে কাজ করে:
- স্ট্যাটিক: ১ FPS-এ ফ্রেম এক্সট্র্যাক্ট করা হয় এবং সেগুলিকে প্রাসঙ্গিক জায়গায় প্লেস করা হয় (সব মডেলের জন্য ডিফল্ট মান)। অডিও 1Kbps (সিঙ্গেল চ্যানেল) স্পিডে প্রসেস করা হয়। প্রতি সেকেন্ডে টাইমস্ট্যাম্প যোগ করা হয়। ছোট ক্লিপের জন্য অথবা যখন প্রতিটি ফ্রেম গুরুত্বপূর্ণ (যেমন, ফ্রেম-বাই-ফ্রেম পরীক্ষা করা) হয় তখন এটি সবচেয়ে ভালো। মনে রাখবেন, ১ FPS স্যাম্পেলিং রেটের কারণে দ্রুত অ্যাকশন সিকোয়েন্সের বিবরণ মিস হয়ে যেতে পারে।
- এজেন্টিক: মডেলটি ডায়নামিক পদ্ধতিতে ভিডিও নেভিগেট করে, চাহিদা মতো
ট্রান্সক্রিপ্ট এবং/অথবা ফ্রেম এবং/অথবা অডিও লোড করে। এর ফলে বড় দৈর্ঘ্যের কন্টেন্টের জন্য ৮৮%
পর্যন্ত কম টোকেন ব্যবহার করা হয়, যদিও নেভিগেশনের কারণে ছোট ক্লিপে (<৫ মিনিট) প্রথম টোকেন
আসার সময় (TTFT) সামান্য বেড়ে যেতে পারে, কারণ জেনারেশন শুরু হওয়ার আগে ইন্টার্নাল
যুক্তি ও টুল রাউন্ড-ট্রিপিং হয়।
উত্তরে
MEDIA_PROCESSINGটুল কল ও উত্তর অংশ অন্তর্ভুক্ত থাকে যাতে বিভিন্ন টার্ন জুড়ে যুক্তিপূর্ণ প্রসঙ্গ বজায় রাখা যায়। টোকেন খরচ ও উত্তরের কোয়ালিটি অপ্টিমাইজ করার জন্য বড় দৈর্ঘ্যের ভিডিওর ক্ষেত্রে সবচেয়ে উপযুক্ত। Gemini 3.8 Flash, 3.6 Flash এবং 3.5 Flash Lite-এ কাজ করে। বিস্তারিত জানতে এজেন্টিক ভিডিও বোঝা দেখুন।
- টোকেন গণনা (স্ট্যাটিক মোড): ভিডিওর প্রতিটি সেকেন্ডকে নিম্নলিখিতভাবে টোকেনাইজ করা হয়:
- আলাদা ফ্রেম (১ FPS-এ স্যাম্পেল করা):
media_resolution-এর মান কম হিসেবে সেট করা থাকলে, ফ্রেম প্রতি ৬৬টি টোকেন হিসেবে টোকেনাইজ করা হয়।- অন্যথায়, প্রতিটি ফ্রেমে ২৫৮টি টোকেন হিসেবে ফ্রেম টোকেনাইজ করা হয়।
- অডিও: প্রতি সেকেন্ডে ৩২টি টোকেন।
- মেটাডেটাও অন্তর্ভুক্ত থাকে।
- মোট: ডিফল্ট (কম) মিডিয়া রেজোলিউশনে ভিডিওর প্রতি সেকেন্ডে আনুমানিক ১০০টি টোকেন অথবা হাই মিডিয়া রেজোলিউশনে ভিডিওর প্রতি সেকেন্ডে আনুমানিক ৩০০টি টোকেন।
- আলাদা ফ্রেম (১ FPS-এ স্যাম্পেল করা):
- টোকেন গণনা (এজেন্টিক মোড): কন্টেন্টের
জটিলতা ও মডেলের নেভিগেশন স্ট্র্যাটেজির উপর নির্ভর করে টোকেন ব্যবহার আলাদা আলাদা হয়। ভিডিও এক্সপ্লোর করার সময় জেনারেট হওয়া নেভিগেশন রিজনিং টোকেনকে থিংকিং টোকেন হিসেবে গণ্য করা হয়
(
thoughts_token_count), অন্যদিকে চাহিদা অনুযায়ী লোড করা ফ্রেম, অডিও ও ট্রান্সক্রিপ্টকে টুল প্রম্পট টোকেন হিসেবে গণ্য করা হয় (tool_use_prompt_token_count)। এজেন্টিক প্রসেসিং সাধারণত বড় দৈর্ঘ্যের কন্টেন্টের জন্য স্ট্যাটিক প্রসেসিংয়ের তুলনায় ৮৮% কম টোটাল টোকেন ব্যবহার করে, কারণ প্রম্পটের উত্তর দেওয়ার জন্য মডেলটি শুধুমাত্র ট্রান্সক্রিপ্ট এবং/অথবা ফ্রেম এবং/অথবা অডিও লোড করে (টোকেন গাইড দেখুন)। - মিডিয়া রেজোলিউশন: Gemini 3,
media_resolutionপ্যারামিটারের মাধ্যমে মাল্টিমোডাল ভিশন প্রসেসিংয়ের উপর গ্র্যানুলার কন্ট্রোল নিয়ে আসে। ইনপুট ছবি বা ভিডিও ফ্রেমে বরাদ্দ করা টোকেনের সর্বাধিক সংখ্যাmedia_resolutionপ্যারামিটার নির্ধারণ করে। আরও বেশি রেজোলিউশন থাকলে, মডেলের ছোট টেক্সট পড়া বা ছোট বিবরণ শনাক্ত করার ক্ষমতা উন্নত হয়, তবে টোকেন ব্যবহার ও লেটেন্সি বেড়ে যায়।media_resolutionএবংmedia_processingপ্যারামিটারগুলি একে অপরের থেকে আলাদা: আপনি একই ভিডিও পার্টে দুটিই সেট করতে পারেন।
টোকেন গণনা সম্পর্কে আরও বিবরণের জন্য, টোকেন গাইড দেখুন।
- টাইমস্ট্যাম্প ফর্ম্যাট: আপনার প্রম্পটের মধ্যে ভিডিওর নির্দিষ্ট মুহূর্তের কথা উল্লেখ করার সময়,
MM:SSফর্ম্যাট ব্যবহার করুন (যেমন, ১ মিনিট ১৫ সেকেন্ডের জন্য01:15)। - প্রম্পট প্লেসমেন্ট: টেক্সট ও একটি ভিডিও একত্রিত করলে,
contentsঅ্যারেতে ভিডিও অংশের পরে টেক্সট প্রম্পট প্লেস করুন। - দীর্ঘ অনুরোধের জন্য টাইম-আউট: যেসব ভিডিওর জন্য বেশি
প্রসেসিং সময় বা জটিল মাল্টি-স্টেপ যুক্তি প্রয়োজন, সেগুলির জন্য স্ট্রিমিং
(
client.models.generate_content_stream) ব্যবহার করুন। সিঙ্ক্রোনাস, নন-স্ট্রিমিং অনুরোধের ক্ষেত্রে, বেশি চাহিদা থাকলে ব্যাকএন্ডে আবার চেষ্টা করা হয়। এর ফলে কানেকশন বা যাচাইকরণ টোকেনের মেয়াদ শেষ হয়ে যেতে পারে এবং অপ্রত্যাশিত401 Unauthorizedবা টাইম-আউট এরর দেখা দিতে পারে। স্ট্রিমিং কানেকশন অ্যাক্টিভ রাখে এবং মধ্যবর্তী যুক্তি ও টুল কল প্রগ্রেস দেখায়।
এর পরে কী করতে হবে
- মিডিয়া রেজোলিউশন: কোয়ালিটি ও টোকেন ব্যবহারের মধ্যে ব্যালেন্স রাখতে ভিডিও ফ্রেমের রেজোলিউশন কন্ট্রোল করুন।
- টোকেন: স্ট্যাটিক ও এজেন্টিক, দুটি প্রসেসিং মোডেই কীভাবে ভিডিও কন্টেন্ট টোকেনাইজ করা হয় তা জানুন।
- সিস্টেম নির্দেশাবলী: সিস্টেম নির্দেশাবলী আপনাকে নিজের নির্দিষ্ট প্রয়োজন ও ব্যবহারের ক্ষেত্রে মডেলের আচরণ নিয়ন্ত্রণ করতে দেয়।
- Files API: Gemini-তে ব্যবহারের জন্য ফাইল আপলোড ও ম্যানেজ করা সম্পর্কে আরও জানুন।
- ফাইল প্রম্পটিং স্ট্র্যাটেজি: Gemini API টেক্সট, ছবি, অডিও ও ভিডিও ডেটা সহ প্রম্পটিং কাজ করে, এটি মাল্টিমোডাল প্রম্পটিং নামেও পরিচিত।
- নিরাপত্তা সংক্রান্ত নির্দেশিকা: কখনও কখনও জেনারেটিভ AI মডেল অপ্রত্যাশিত আউটপুট তৈরি করে, যেমন ভুল, পক্ষপাতদুষ্ট বা আপত্তিকর আউটপুট। এই ধরনের আউটপুট থেকে ক্ষতির ঝুঁকি কমাতে পোস্ট-প্রসেসিং ও হিউম্যান রিভিউ অপরিহার্য।