ভিডিও তৈরি সম্পর্কে জানতে, জেমিনি অমনি ফ্ল্যাশ গাইডটি দেখুন।
জেমিনি মডেল ভিডিও প্রসেস করতে পারে, যা ডেভেলপারদের জন্য এমন অনেক অত্যাধুনিক ব্যবহারের সুযোগ তৈরি করে, যার জন্য ঐতিহাসিকভাবে ডোমেইন-নির্দিষ্ট মডেলের প্রয়োজন হতো। জেমিনির ভিশন সক্ষমতাগুলোর মধ্যে রয়েছে: ভিডিও বর্ণনা করা, সেগমেন্ট করা এবং তা থেকে তথ্য নিষ্কাশন করা; ভিডিওর বিষয়বস্তু সম্পর্কে প্রশ্নের উত্তর দেওয়া; এবং একটি ভিডিওর মধ্যে নির্দিষ্ট টাইমস্ট্যাম্প উল্লেখ করা।
আপনি নিম্নলিখিত উপায়ে জেমিনিতে ইনপুট হিসাবে ভিডিও সরবরাহ করতে পারেন:
| ইনপুট পদ্ধতি | সর্বোচ্চ আকার | সুপারিশকৃত ব্যবহারের ক্ষেত্র |
|---|---|---|
| ফাইল এপিআই | ২০ জিবি (মূল্য পরিশোধিত) / ২ জিবি (বিনামূল্যে) | বড় ফাইল (১০০ মেগাবাইট+), দীর্ঘ ভিডিও (১০ মিনিট+), পুনঃব্যবহারযোগ্য ফাইল। |
| ক্লাউড স্টোরেজ নিবন্ধন | ২ জিবি (প্রতি ফাইলে, স্টোরেজের কোনো সীমা নেই) | বড় ফাইল (১০০ মেগাবাইট+), দীর্ঘ ভিডিও (১০ মিনিট+), স্থায়ী ও পুনঃব্যবহারযোগ্য ফাইল। |
| ইনলাইন ডেটা | < ১০০ মেগাবাইট | ছোট ফাইল (<১০০ মেগাবাইট), স্বল্প সময়কাল (<১ মিনিট), এককালীন ইনপুট। |
| ইউটিউব ইউআরএল | প্রযোজ্য নয় | সর্বজনীন ইউটিউব ভিডিও। |
দ্রষ্টব্য: বেশিরভাগ ক্ষেত্রে ফাইল এপিআই (File API) ব্যবহার করার পরামর্শ দেওয়া হয়, বিশেষ করে ১০০ মেগাবাইটের চেয়ে বড় ফাইলের জন্য অথবা যখন আপনি একাধিক অনুরোধে ফাইলটি পুনরায় ব্যবহার করতে চান।
অন্যান্য ফাইল ইনপুট পদ্ধতি, যেমন এক্সটার্নাল ইউআরএল বা গুগল ক্লাউডে সংরক্ষিত ফাইল ব্যবহার করার বিষয়ে জানতে, ফাইল ইনপুট পদ্ধতি নির্দেশিকাটি দেখুন।
একটি ভিডিও ফাইল আপলোড করুন
নিম্নলিখিত কোডটি একটি নমুনা ভিডিও ডাউনলোড করে, ফাইলস এপিআই (Files API) ব্যবহার করে সেটি আপলোড করে, সেটির প্রক্রিয়াকরণের জন্য অপেক্ষা করে এবং তারপর আপলোড করা ফাইল রেফারেন্সটি ব্যবহার করে ভিডিওটির সারসংক্ষেপ তৈরি করে।
পাইথন
from google import genai
client = genai.Client()
myfile = client.files.upload(file="path/to/sample.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash", contents=[myfile, "Summarize this video. Then create a quiz with an answer key based on the information in this video."]
)
print(response.text)
জাভাস্ক্রিপ্ট
import {
GoogleGenAI,
createUserContent,
createPartFromUri,
} from "@google/genai";
const ai = new GoogleGenAI({});
async function main() {
const myfile = await ai.files.upload({
file: "path/to/sample.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: createUserContent([
createPartFromUri(myfile.uri, myfile.mimeType),
"Summarize this video. Then create a quiz with an answer key based on the information in this video.",
]),
});
console.log(response.text);
}
await main();
যান
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/sample.mp4", nil)
parts := []*genai.Part{
genai.NewPartFromText("Summarize this video. Then create a quiz with an answer key based on the information in this video."),
genai.NewPartFromURI(uploadedFile.URI, uploadedFile.MIMEType),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
বিশ্রাম
VIDEO_PATH="path/to/sample.mp4"
MIME_TYPE=$(file -b --mime-type "${VIDEO_PATH}")
NUM_BYTES=$(wc -c < "${VIDEO_PATH}")
DISPLAY_NAME=VIDEO
tmp_header_file=upload-header.tmp
echo "Starting file upload..."
curl "https://generativelanguage.googleapis.com/upload/v1beta/files" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-D ${tmp_header_file} \
-H "X-Goog-Upload-Protocol: resumable" \
-H "X-Goog-Upload-Command: start" \
-H "X-Goog-Upload-Header-Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Header-Content-Type: ${MIME_TYPE}" \
-H "Content-Type: application/json" \
-d "{'file': {'display_name': '${DISPLAY_NAME}'}}" 2> /dev/null
upload_url=$(grep -i "x-goog-upload-url: " "${tmp_header_file}" | cut -d" " -f2 | tr -d "\r")
rm "${tmp_header_file}"
echo "Uploading video data..."
curl "${upload_url}" \
-H "Content-Length: ${NUM_BYTES}" \
-H "X-Goog-Upload-Offset: 0" \
-H "X-Goog-Upload-Command: upload, finalize" \
--data-binary "@${VIDEO_PATH}" 2> /dev/null > file_info.json
file_uri=$(jq -r ".file.uri" file_info.json)
echo file_uri=$file_uri
echo "File uploaded successfully. File URI: ${file_uri}"
# --- 3. Generate content using the uploaded video file ---
echo "Generating content from video..."
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"file_data":{"mime_type": "'"${MIME_TYPE}"'", "file_uri": "'"${file_uri}"'"}},
{"text": "Summarize this video. Then create a quiz with an answer key based on the information in this video."}]
}]
}' 2> /dev/null > response.json
jq -r ".candidates[].content.parts[].text" response.json
যখন মোট অনুরোধের আকার (ফাইল, টেক্সট প্রম্পট, সিস্টেম নির্দেশাবলী ইত্যাদি সহ) ২০ মেগাবাইটের বেশি হয়, ভিডিওর সময়কাল উল্লেখযোগ্য হয়, অথবা আপনি একাধিক প্রম্পটে একই ভিডিও ব্যবহার করতে চান, তখন সর্বদা ফাইলস এপিআই (Files API) ব্যবহার করুন। ফাইল এপিআই সরাসরি ভিডিও ফাইল ফরম্যাট গ্রহণ করে।
মিডিয়া ফাইল নিয়ে কাজ করার বিষয়ে আরও জানতে, ফাইলস এপিআই (Files API) দেখুন।
ভিডিও ডেটা ইনলাইনে পাঠান
ফাইল এপিআই ব্যবহার করে ভিডিও ফাইল আপলোড করার পরিবর্তে, আপনি ছোট ভিডিওগুলো সরাসরি generateContent রিকোয়েস্টে পাঠাতে পারেন। এটি ২০ মেগাবাইটের কম মোট রিকোয়েস্ট সাইজের ছোট ভিডিওর জন্য উপযুক্ত।
ইনলাইন ভিডিও ডেটা প্রদানের একটি উদাহরণ নিচে দেওয়া হলো:
পাইথন
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(data=video_bytes, mime_type='video/mp4')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
import * as fs from "node:fs";
const ai = new GoogleGenAI({});
const base64VideoFile = fs.readFileSync("path/to/small-sample.mp4", {
encoding: "base64",
});
const contents = [
{
inlineData: {
mimeType: "video/mp4",
data: base64VideoFile,
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
বিশ্রাম
VIDEO_PATH=/path/to/your/video.mp4
if [[ "$(base64 --version 2>&1)" = *"FreeBSD"* ]]; then
B64FLAGS="--input"
else
B64FLAGS="-w0"
fi
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{
"inline_data": {
"mime_type":"video/mp4",
"data": "'$(base64 $B64FLAGS $VIDEO_PATH)'"
}
},
{"text": "Please summarize the video in 3 sentences."}
]
}]
}' 2> /dev/null
ইউটিউব ইউআরএল পাস করুন
আপনি নিম্নলিখিত উপায়ে আপনার অনুরোধের অংশ হিসাবে সরাসরি জেমিনি এপিআই-তে ইউটিউব ইউআরএল পাঠাতে পারেন:
পাইথন
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=9hE5-98ZeCg')
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const contents = [
{
fileData: {
fileUri: "https://www.youtube.com/watch?v=9hE5-98ZeCg",
},
},
{ text: "Please summarize the video in 3 sentences." }
];
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: contents,
});
console.log(response.text);
যান
package main
import (
"context"
"fmt"
"os"
"google.golang.org/genai"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
parts := []*genai.Part{
genai.NewPartFromText("Please summarize the video in 3 sentences."),
genai.NewPartFromURI("https://www.youtube.com/watch?v=9hE5-98ZeCg","video/mp4"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
}
বিশ্রাম
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-X POST \
-d '{
"contents": [{
"parts":[
{"text": "Please summarize the video in 3 sentences."},
{
"file_data": {
"file_uri": "https://www.youtube.com/watch?v=9hE5-98ZeCg"
}
}
]
}]
}' 2> /dev/null
সীমাবদ্ধতা:
- ফ্রি টিয়ারের জন্য, আপনি প্রতিদিন ৮ ঘণ্টার বেশি ইউটিউব ভিডিও আপলোড করতে পারবেন না।
- পেইড টায়ারের ক্ষেত্রে ভিডিওর দৈর্ঘ্যের কোনো সীমা নেই।
- জেমিনি ২.৫-এর পূর্ববর্তী মডেলগুলোর জন্য, আপনি প্রতি অনুরোধে কেবল ১টি ভিডিও আপলোড করতে পারবেন। জেমিনি ২.৫ এবং পরবর্তী মডেলগুলোর জন্য, আপনি প্রতি অনুরোধে সর্বোচ্চ ১০টি ভিডিও আপলোড করতে পারবেন।
- আপনি শুধুমাত্র পাবলিক ভিডিও আপলোড করতে পারবেন (প্রাইভেট বা আনলিস্টেড ভিডিও নয়)।
এজেন্টিক ভিডিও বোঝা
ডিফল্টরূপে, ভিডিও ইনপুটগুলো স্ট্যাটিক প্রসেসিং ব্যবহার করে (অর্থাৎ প্রতি সেকেন্ডে ১ ফ্রেম হারে ফ্রেম এক্সট্র্যাক্ট করে)। Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, এবং 3.5 Flash Lite মডেলগুলো agentic video understanding-ও সাপোর্ট করে, যেখানে মডেলটি ডায়নামিকভাবে ভিডিও টাইমলাইন অন্বেষণ করে, বেছে বেছে ট্রান্সক্রিপ্ট পরীক্ষা করে এবং প্রম্পটের উপর ভিত্তি করে তাৎক্ষণিকভাবে ফ্রেম রেট ও রেজোলিউশন অভিযোজিতভাবে সামঞ্জস্য করে।
| মোড | বর্ণনা | সমর্থিত মডেল |
|---|---|---|
| স্থির (ডিফল্ট) | একটি নির্দিষ্ট হারে (১ এফপিএস) ফ্রেমগুলো আলাদা করে এবং একবারে সেগুলোকে প্রাসঙ্গিক স্থানে স্থাপন করে। ছোট ক্লিপের জন্য এটি ভালোভাবে কাজ করে। | সমস্ত জেমিনি মডেল |
| এজেন্টিক | মডেলটি প্রম্পটের উপর ভিত্তি করে ভিডিও টাইমলাইনে গতিশীলভাবে নেভিগেট করে এবং শুধুমাত্র প্রয়োজনীয় কন্টেন্ট লোড করে। দীর্ঘ কন্টেন্টের ক্ষেত্রে এটি ৮৮% পর্যন্ত বেশি টোকেন-দক্ষ এবং প্রায় ৭% উন্নত মানের। | জেমিনি ৩.৮ ফ্ল্যাশ, ৩.৭ ফ্ল্যাশ, ৩.৬ ফ্ল্যাশ, ৩.৫ ফ্ল্যাশ লাইট |
একটি প্রক্রিয়াকরণ মোড নির্বাচন করুন
সাধারণ নির্দেশিকা হিসেবে, এজেন্টিক মোড দিয়ে শুরু করুন, বিশেষ করে যখন প্রতিক্রিয়ার গুণমান বা টোকেন দক্ষতার জন্য অপ্টিমাইজ করা হচ্ছে।
- এজেন্টিক: নির্দিষ্ট মুহূর্তকে লক্ষ্য করে তৈরি দীর্ঘ ভিডিও বা কোয়েরি। মডেলটি কনটেক্সট উইন্ডো পূর্ণ না করেই, প্রাসঙ্গিকভাবে প্রাসঙ্গিক তথ্য খুঁজে বের করার জন্য গতিশীলভাবে টাইমলাইন নেভিগেট করে।
- স্ট্যাটিক: ছোট ক্লিপের (৫ মিনিটের কম) ক্ষেত্রে ল্যাটেন্সি-সংবেদনশীল কোয়েরি, অথবা এমন পরিস্থিতি যেখানে পুরো ক্লিপ জুড়ে ফ্রেম-স্তরের নির্ভুলতা প্রয়োজন।
দ্রষ্টব্য: দীর্ঘ ভিডিও বা জটিল প্রম্পটের ক্ষেত্রে, যেখানে এজেন্টিক প্রসেসিং-এ বেশি সময় লাগে, সেখানে স্ট্রিমিং (
client.models.generate_content_stream) ব্যবহার করুন। এটি সংযোগ সক্রিয় রাখে, মধ্যবর্তী রিজনিং ধাপগুলো প্রদর্শন করে এবং সংযোগ বা প্রমাণীকরণের সময়সীমা শেষ হয়ে যাওয়া এড়ায়।
প্রসেসিং মোড সেট করুন
পাইথন
import time
from google import genai
from google.genai import types
client = genai.Client()
video_file = client.files.upload(file="path/to/lecture.mp4")
while video_file.state.name == "PROCESSING":
time.sleep(2)
video_file = client.files.get(name=video_file.name)
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=video_file.uri,
mime_type=video_file.mime_type,
media_processing="AGENTIC",
),
"What are the three main arguments presented?",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
let videoFile = await ai.files.upload({
file: "path/to/lecture.mp4",
config: { mimeType: "video/mp4" },
});
while (videoFile.state === "PROCESSING") {
await new Promise((resolve) => setTimeout(resolve, 2000));
videoFile = await ai.files.get({ name: videoFile.name });
}
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: videoFile.uri,
mimeType: videoFile.mimeType,
},
mediaProcessing: "AGENTIC",
},
{ text: "What are the three main arguments presented?" },
],
},
],
});
console.log(response.text);
যান
uploadedFile, _ := client.Files.UploadFromPath(ctx, "path/to/lecture.mp4", nil)
parts := []*genai.Part{
{
FileData: &genai.FileData{
FileURI: uploadedFile.URI,
MIMEType: uploadedFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic,
},
genai.NewPartFromText("What are the three main arguments presented?"),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(
ctx,
"gemini-3.8-flash",
contents,
nil,
)
fmt.Println(result.Text())
বিশ্রাম
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${file_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{"text": "What are the three main arguments presented?"}
]
}]
}'
দ্রষ্টব্য: এজেন্টিক প্রসেসিং ব্যবহার করা হয়েছে কিনা তা যাচাই করতে,
response.candidates[0].content.partsপরীক্ষা করুন।MEDIA_PROCESSINGটুল টাইপ সহtool_callএবংtool_responseপার্টসের উপস্থিতি নির্দেশ করে যে মডেলটি ডায়নামিকভাবে ভিডিওটি নেভিগেট করেছে।
দ্রষ্টব্য: অন্যান্য সার্ভার-সাইড টুলের (যেমন গুগল সার্চ বা ইউআরএল কনটেক্সট) মতো নয়, এজেন্টিক ভিডিওর ক্ষেত্রে টুল কল এবং তার ফলাফল ফেরত বা স্ট্রিম করার জন্য
ToolConfigএinclude_server_side_tool_invocations=Trueসেট করার প্রয়োজন হয় না। যেকোনো ইনপুট পার্টেmedia_processing="AGENTIC"সেট করা থাকলে ভিডিও নেভিগেশনের জন্যtool_callএবংtool_responseপার্টগুলো স্বয়ংক্রিয়ভাবে ফেরত আসে।
প্রতিক্রিয়া কাঠামো
যখন এজেন্টিক প্রসেসিং সক্রিয় করা হয়, তখন প্রতিক্রিয়াটিতে অতিরিক্ত অংশ অন্তর্ভুক্ত থাকে যা অভ্যন্তরীণ নেভিগেশন ট্রেস প্রকাশ করে:
-
tool_callঅংশ (tool_type: "MEDIA_PROCESSING"): প্রতিবার মডেল যখন কোনো ভিডিও সেগমেন্ট বা অডিও ট্রান্সক্রিপ্টের জন্য অনুরোধ করে, তখন এটি নির্গত হয়। -
tool_responseঅংশ (tool_type: "MEDIA_PROCESSING"): প্রতিটি লোড অপারেশনের ফলাফল।
আপনাকে এই অংশগুলো ম্যানুয়ালি পরিচালনা বা উত্তর দেওয়ার প্রয়োজন নেই: সম্পূর্ণ উত্তরটি কথোপকথনের ইতিহাস হিসেবে ফেরত পাঠান এবং সেগুলো স্বয়ংক্রিয়ভাবে পরিচালিত হবে।
ThinkingConfig এ include_thoughts=True সেট করা থাকলে, যুক্তির ধাপগুলো টুল কল/রেসপন্স জোড়ার সাথে পর্যায়ক্রমে thought: true অংশ হিসেবে প্রদর্শিত হয়। 'thoughts' নিষ্ক্রিয় থাকলে, চিন্তার লেখাটি বাদ দেওয়া হয় কিন্তু টুলের অংশগুলো উপস্থিত থাকে।
নিম্নলিখিত উদাহরণটি টুল কল এবং প্রতিক্রিয়া অংশগুলিকে পর্যায়ক্রমে সাজিয়ে রেসপন্স পেলোডটি দেখায়:
{
"candidates": [
{
"content": {
"role": "model",
"parts": [
{
"thought": true,
"text": "Inspecting transcript for key discussion topics..."
},
{
"thought_signature": "sig_A",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_B",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Loading visual frames to verify slide content..."
},
{
"thought_signature": "sig_C",
"tool_call": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought_signature": "sig_D",
"tool_response": {
"tool_type": "MEDIA_PROCESSING"
}
},
{
"thought": true,
"text": "Synthesizing answer from gathered evidence..."
},
{
"text": "The three main arguments presented in the lecture are...",
"thought_signature": "sig_E"
}
]
}
}
]
}
ভিডিও জুড়ে প্রসেসিং মোড মিশ্রিত করুন
আপনি একই অনুরোধের মধ্যে প্রতিটি ভিডিও অংশের জন্য আলাদা প্রসেসিং মোড সেট করতে পারেন:
পাইথন
from google import genai
from google.genai import types
client = genai.Client()
lecture = client.files.upload(file="path/to/long-lecture.mp4")
experiment = client.files.upload(file="path/to/short-experiment.mp4")
response = client.models.generate_content(
model="gemini-3.8-flash",
contents=[
types.Part.from_uri(
file_uri=lecture.uri,
mime_type=lecture.mime_type,
media_processing="AGENTIC", # Use agentic video understanding
),
types.Part.from_uri(
file_uri=experiment.uri,
mime_type=experiment.mime_type,
media_processing="STATIC", # Use static processing
),
"Compare the lecture content with the experiment results.",
],
)
print(response.text)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from "@google/genai";
const ai = new GoogleGenAI({});
const lecture = await ai.files.upload({
file: "path/to/long-lecture.mp4",
config: { mimeType: "video/mp4" },
});
const experiment = await ai.files.upload({
file: "path/to/short-experiment.mp4",
config: { mimeType: "video/mp4" },
});
const response = await ai.models.generateContent({
model: "gemini-3.8-flash",
contents: [
{
role: "user",
parts: [
{
fileData: {
fileUri: lecture.uri,
mimeType: lecture.mimeType,
},
mediaProcessing: "AGENTIC", // Use agentic video understanding
},
{
fileData: {
fileUri: experiment.uri,
mimeType: experiment.mimeType,
},
mediaProcessing: "STATIC", // Use static processing
},
{ text: "Compare the lecture content with the experiment results." },
],
},
],
});
console.log(response.text);
যান
lecturePart := &genai.Part{
FileData: &genai.FileData{
FileURI: lectureFile.URI,
MIMEType: lectureFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingAgentic, // Use agentic
}
experimentPart := &genai.Part{
FileData: &genai.FileData{
FileURI: experimentFile.URI,
MIMEType: experimentFile.MIMEType,
},
MediaProcessing: genai.MediaProcessingStatic, // Use static
}
parts := []*genai.Part{
lecturePart,
experimentPart,
genai.NewPartFromText("Compare the lecture content with the experiment results."),
}
contents := []*genai.Content{
genai.NewContentFromParts(parts, genai.RoleUser),
}
result, _ := client.Models.GenerateContent(ctx, "gemini-3.8-flash", contents, nil)
fmt.Println(result.Text())
বিশ্রাম
curl "https://generativelanguage.googleapis.com/v1beta/models/gemini-3.8-flash:generateContent?key=$GEMINI_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
"contents": [{
"parts": [
{
"file_data": {
"file_uri": "'${lecture_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "AGENTIC"
},
{
"file_data": {
"file_uri": "'${experiment_uri}'",
"mime_type": "video/mp4"
},
"media_processing": "STATIC"
},
{"text": "Compare the lecture content with the experiment results."}
]
}]
}'
দীর্ঘ ভিডিওর জন্য কনটেক্সট ক্যাশিং ব্যবহার করুন
১০ মিনিটের বেশি দীর্ঘ ভিডিওর জন্য, অথবা যখন আপনি একই ভিডিও ফাইলের বিরুদ্ধে একাধিক অনুরোধ করার পরিকল্পনা করেন, তখন খরচ কমাতে এবং লেটেন্সি উন্নত করতে কনটেক্সট ক্যাশিং ব্যবহার করুন। কনটেক্সট ক্যাশিং আপনাকে ভিডিওটি একবার প্রসেস করতে এবং পরবর্তী কোয়েরিগুলোর জন্য টোকেনগুলো পুনরায় ব্যবহার করতে দেয়, যা এটিকে চ্যাট সেশন বা দীর্ঘ কন্টেন্টের বারবার বিশ্লেষণের জন্য আদর্শ করে তোলে।
বিষয়বস্তুতে থাকা টাইমস্ট্যাম্পগুলো দেখুন।
আপনি MM:SS ফর্ম্যাটের টাইমস্ট্যাম্প ব্যবহার করে ভিডিওর মধ্যে নির্দিষ্ট সময় সম্পর্কে প্রশ্ন করতে পারেন।
পাইথন
prompt = "What are the examples given at 00:05 and 00:10 supposed to show us?" # Adjusted timestamps for the NASA video
জাভাস্ক্রিপ্ট
const prompt = "What are the examples given at 00:05 and 00:10 supposed to show us?";
যান
prompt := []*genai.Part{
genai.NewPartFromURI(currentVideoFile.URI, currentVideoFile.MIMEType),
// Adjusted timestamps for the NASA video
genai.NewPartFromText("What are the examples given at 00:05 and " +
"00:10 supposed to show us?"),
}
বিশ্রাম
PROMPT="What are the examples given at 00:05 and 00:10 supposed to show us?"
ভিডিও থেকে বিস্তারিত তথ্য বের করুন।
জেমিনি মডেলগুলো অডিও এবং ভিজ্যুয়াল উভয় স্ট্রিম থেকে তথ্য প্রক্রিয়াকরণের মাধ্যমে ভিডিও কন্টেন্ট বোঝার জন্য শক্তিশালী সক্ষমতা প্রদান করে। এর ফলে আপনি বিভিন্ন ধরনের বিশদ তথ্য বের করতে পারেন, যার মধ্যে রয়েছে একটি ভিডিওতে কী ঘটছে তার বর্ণনা তৈরি করা এবং এর বিষয়বস্তু সম্পর্কে প্রশ্নের উত্তর দেওয়া।
ভিজ্যুয়াল বর্ণনার জন্য, মডেলটি প্রতি সেকেন্ডে ১ ফ্রেম (FPS) হারে ভিডিও স্যাম্পল করে। এই ডিফল্ট স্যাম্পলিং রেট বেশিরভাগ কন্টেন্টের জন্য ভালোভাবে কাজ করে, কিন্তু মনে রাখবেন যে দ্রুত গতি বা দ্রুত দৃশ্য পরিবর্তনের ভিডিওতে এটি ডিটেইলস বাদ দিতে পারে। এই ধরনের হাই-মোশন কন্টেন্টের জন্য, একটি কাস্টম ফ্রেম রেট সেট করার কথা বিবেচনা করুন।
পাইথন
prompt = "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."
জাভাস্ক্রিপ্ট
const prompt = "Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments.";
যান
prompt := []*genai.Part{
genai.NewPartFromURI(currentVideoFile.URI, currentVideoFile.MIMEType),
genai.NewPartFromText("Describe the key events in this video, providing both audio and visual details. " +
"Include timestamps for salient moments."),
}
বিশ্রাম
PROMPT="Describe the key events in this video, providing both audio and visual details. Include timestamps for salient moments."
ভিডিও প্রক্রিয়াকরণ কাস্টমাইজ করুন
আপনি জেমিনি এপিআই-তে ক্লিপিং ইন্টারভাল সেট করে অথবা কাস্টম ফ্রেম রেট স্যাম্পলিং প্রদান করে ভিডিও প্রসেসিং কাস্টমাইজ করতে পারেন। এই কাস্টমাইজেশন অপশনগুলো শুধুমাত্র "static" মোডে ভিডিও প্রসেস করার সময় সমর্থিত হয়।
ক্লিপিং ব্যবধান সেট করুন
শুরু এবং শেষের অফসেট সহ videoMetadata নির্দিষ্ট করে আপনি ভিডিও ক্লিপ করতে পারেন।
পাইথন
from google import genai
from google.genai import types
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
file_data=types.FileData(file_uri='https://www.youtube.com/watch?v=XEzRZ35urlk'),
video_metadata=types.VideoMetadata(
start_offset='1250s',
end_offset='1570s'
)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
জাভাস্ক্রিপ্ট
import { GoogleGenAI } from '@google/genai';
const ai = new GoogleGenAI({});
const model = 'gemini-3.8-flash';
async function main() {
const contents = [
{
role: 'user',
parts: [
{
fileData: {
fileUri: 'https://www.youtube.com/watch?v=9hE5-98ZeCg',
mimeType: 'video/*',
},
videoMetadata: {
startOffset: '40s',
endOffset: '80s',
}
},
{
text: 'Please summarize the video in 3 sentences.',
},
],
},
];
const response = await ai.models.generateContent({
model,
contents,
});
console.log(response.text)
}
await main();
একটি কাস্টম ফ্রেম রেট সেট করুন
videoMetadata তে একটি fps আর্গুমেন্ট পাস করে আপনি কাস্টম ফ্রেম রেট স্যাম্পলিং সেট করতে পারেন।
পাইথন
from google import genai
from google.genai import types
# Only for videos of size <20Mb
video_file_name = "/path/to/your/video.mp4"
video_bytes = open(video_file_name, 'rb').read()
client = genai.Client()
response = client.models.generate_content(
model='models/gemini-3.8-flash',
contents=types.Content(
parts=[
types.Part(
inline_data=types.Blob(
data=video_bytes,
mime_type='video/mp4'),
video_metadata=types.VideoMetadata(fps=5)
),
types.Part(text='Please summarize the video in 3 sentences.')
]
)
)
ডিফল্টরূপে ভিডিও থেকে প্রতি সেকেন্ডে ১ ফ্রেম (FPS) স্যাম্পল করা হয়। দীর্ঘ ভিডিওর জন্য আপনি কম FPS (< 1) সেট করতে পারেন। এটি মূলত স্থির ভিডিওর (যেমন বক্তৃতা) জন্য বিশেষভাবে উপযোগী। যে ভিডিওগুলিতে সূক্ষ্ম টেম্পোরাল বিশ্লেষণের প্রয়োজন হয়, যেমন দ্রুত গতির ঘটনা বোঝা বা উচ্চ-গতির মোশন ট্র্যাকিং, সেগুলির জন্য উচ্চতর FPS ব্যবহার করুন।
সমর্থিত ভিডিও ফরম্যাট
জেমিনি নিম্নলিখিত ভিডিও ফরম্যাট MIME প্রকারগুলি সমর্থন করে:
-
video/mp4 -
video/mpeg -
video/quicktime -
video/avi -
video/x-flv -
video/mpg -
video/webm -
video/wmv -
video/3gpp
ভিডিও সম্পর্কিত প্রযুক্তিগত বিবরণ
- সমর্থিত মডেল ও প্রেক্ষাপট : সকল জেমিনি মডেল ভিডিও ডেটা প্রসেস করতে পারে।
- ১ মেগাবাইট কনটেক্সট উইন্ডোযুক্ত মডেলগুলো ডিফল্টভাবে (লো মিডিয়া রেজোলিউশনে) ৩ ঘণ্টা পর্যন্ত দীর্ঘ ভিডিও, অথবা হাই মিডিয়া রেজোলিউশনে ১ ঘণ্টা পর্যন্ত দীর্ঘ ভিডিও প্রসেস করতে পারে।
- প্রসেসিং মোড : জেমিনি ৩.৮ ফ্ল্যাশ, ৩.৭ ফ্ল্যাশ, ৩.৬ ফ্ল্যাশ, ৩.৫ ফ্ল্যাশ লাইট এবং পরবর্তী মডেলগুলো দুটি ভিডিও প্রসেসিং মোড সমর্থন করে:
- স্ট্যাটিক : ফ্রেমগুলো ১ FPS হারে এক্সট্র্যাক্ট করে কনটেক্সটে রাখা হয় (সকল মডেলের জন্য ডিফল্ট)। অডিও ১ Kbps (সিঙ্গেল চ্যানেল) হারে প্রসেস করা হয়। প্রতি সেকেন্ডে টাইমস্ট্যাম্প যোগ করা হয়। ছোট ক্লিপের জন্য অথবা যখন প্রতিটি ফ্রেম গুরুত্বপূর্ণ (যেমন ফ্রেম-বাই-ফ্রেম ইন্সপেকশনের ক্ষেত্রে) তখন এটি সেরা। উল্লেখ্য যে, ১ FPS স্যাম্পলিং রেটের কারণে দ্রুত অ্যাকশন সিকোয়েন্সের ডিটেইল হারিয়ে যেতে পারে।
- Agentic : মডেলটি গতিশীলভাবে ভিডিও নেভিগেট করে এবং চাহিদা অনুযায়ী ট্রান্সক্রিপ্ট এবং/অথবা ফ্রেম এবং/অথবা অডিও লোড করে। এটি দীর্ঘ কন্টেন্টের জন্য ৮৮% পর্যন্ত কম টোকেন ব্যবহার করে, যদিও অভ্যন্তরীণ যুক্তি এবং জেনারেশন শুরু হওয়ার আগে টুলের রাউন্ড-ট্রিপের কারণে ছোট ক্লিপগুলিতে (<৫ মিনিট) নেভিগেশন প্রথম টোকেন পাওয়ার সময় (TTFT) সামান্য বাড়িয়ে দিতে পারে। বিভিন্ন টার্নে যুক্তির প্রেক্ষাপট বজায় রাখার জন্য প্রতিক্রিয়াগুলিতে
MEDIA_PROCESSINGটুলের কল এবং প্রতিক্রিয়ার অংশ অন্তর্ভুক্ত থাকে। টোকেন খরচ এবং প্রতিক্রিয়ার মান অপ্টিমাইজ করার জন্য দীর্ঘ ভিডিওর জন্য এটি সেরা। Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, এবং 3.5 Flash Lite-এ সমর্থিত। বিস্তারিত জানতে Agentic ভিডিও আন্ডারস্ট্যান্ডিং দেখুন।
- টোকেন গণনা (স্ট্যাটিক মোড) : ভিডিওর প্রতিটি সেকেন্ডকে নিম্নোক্তভাবে টোকেনাইজ করা হয়:
- প্রতিটি ফ্রেম (১ এফপিএস হারে নমুনা করা):
-
media_resolutionlow-তে সেট করা হলে, প্রতি ফ্রেমে ৬৬টি টোকেন করে ফ্রেমগুলোকে টোকেনাইজ করা হয়। - অন্যথায়, প্রতিটি ফ্রেমে ২৫৮টি টোকেন করে টোকেনাইজ করা হয়।
-
- অডিও: প্রতি সেকেন্ডে ৩২টি টোকেন।
- মেটাডেটাও অন্তর্ভুক্ত করা হয়েছে।
- মোট: ডিফল্ট (নিম্ন) মিডিয়া রেজোলিউশনে প্রতি সেকেন্ড ভিডিওর জন্য প্রায় ১০০ টোকেন, অথবা উচ্চ মিডিয়া রেজোলিউশনে প্রতি সেকেন্ড ভিডিওর জন্য প্রায় ৩০০ টোকেন।
- প্রতিটি ফ্রেম (১ এফপিএস হারে নমুনা করা):
- টোকেন গণনা (এজেন্টিক মোড) : কন্টেন্টের জটিলতা এবং মডেলের নেভিগেশন কৌশলের উপর ভিত্তি করে টোকেনের ব্যবহার পরিবর্তিত হয়। ভিডিও এক্সপ্লোরেশনের সময় তৈরি হওয়া নেভিগেশন রিজনিং টোকেনগুলোকে থিংকিং টোকেন (
thoughts_token_count) হিসেবে গণনা করা হয়, অন্যদিকে চাহিদা অনুযায়ী লোড হওয়া ফ্রেম, অডিও এবং ট্রান্সক্রিপ্টকে টুল প্রম্পট টোকেন (tool_use_prompt_token_count) হিসেবে গণনা করা হয়। দীর্ঘ কন্টেন্টের জন্য এজেন্টিক প্রসেসিং সাধারণত স্ট্যাটিক প্রসেসিংয়ের চেয়ে ৮৮% পর্যন্ত কম মোট টোকেন ব্যবহার করে, কারণ মডেলটি প্রম্পটের উত্তর দেওয়ার জন্য শুধুমাত্র প্রয়োজনীয় ট্রান্সক্রিপ্ট এবং/অথবা ফ্রেম এবং/অথবা অডিও লোড করে ( টোকেন গাইড দেখুন)। - মিডিয়া রেজোলিউশন : জেমিনি ৩,
media_resolutionপ্যারামিটারের মাধ্যমে মাল্টিমোডাল ভিশন প্রসেসিং-এর উপর সূক্ষ্ম নিয়ন্ত্রণ নিয়ে এসেছে।media_resolutionপ্যারামিটারটি প্রতিটি ইনপুট ইমেজ বা ভিডিও ফ্রেমের জন্য বরাদ্দকৃত টোকেনের সর্বোচ্চ সংখ্যা নির্ধারণ করে। উচ্চতর রেজোলিউশন সূক্ষ্ম লেখা পড়া বা ছোট ছোট বিবরণ শনাক্ত করার ক্ষেত্রে মডেলের সক্ষমতা বাড়ায়, কিন্তু টোকেনের ব্যবহার এবং ল্যাটেন্সি বৃদ্ধি করে।media_resolutionএবংmedia_processingপ্যারামিটার দুটি স্বাধীন: আপনি একই ভিডিও পার্টে উভয়ই সেট করতে পারেন।
টোকেন গণনা সম্পর্কে আরও বিস্তারিত জানতে টোকেন নির্দেশিকা দেখুন।
- টাইমস্ট্যাম্প ফরম্যাট : আপনার প্রম্পটে ভিডিওর নির্দিষ্ট মুহূর্ত উল্লেখ করার সময়,
MM:SSফরম্যাট ব্যবহার করুন (যেমন, ১ মিনিট ১৫ সেকেন্ডের জন্য01:15)। - প্রম্পটের অবস্থান : যদি টেক্সট এবং একটি ভিডিও একত্রিত করা হয়, তাহলে
contentsঅ্যারেতে ভিডিও অংশের পরে টেক্সট প্রম্পটটি রাখুন। - দীর্ঘ অনুরোধের জন্য টাইমআউট : যে ভিডিওগুলির জন্য দীর্ঘ প্রক্রিয়াকরণের সময় বা জটিল বহু-ধাপের রিজনিং প্রয়োজন, সেগুলির জন্য স্ট্রিমিং (
client.models.generate_content_stream) ব্যবহার করুন। সিনক্রোনাস, নন-স্ট্রিমিং অনুরোধগুলি, যেগুলিতে উচ্চ চাহিদার কারণে ব্যাকএন্ডে পুনরায় চেষ্টা করা হয়, সেগুলি সংযোগ বা প্রমাণীকরণ টোকেনের বৈধতার সময়সীমা অতিক্রম করতে পারে, যা অপ্রত্যাশিত401 Unauthorizedবা টাইমআউট ত্রুটি হিসাবে দেখা দিতে পারে। স্ট্রিমিং সংযোগটি সক্রিয় রাখে এবং মধ্যবর্তী রিজনিং ও টুল কলের অগ্রগতি প্রদর্শন করে।
এরপর কী?
- মিডিয়া রেজোলিউশন : গুণমান এবং টোকেন ব্যবহারের মধ্যে ভারসাম্য বজায় রাখতে ভিডিও ফ্রেমের রেজোলিউশন নিয়ন্ত্রণ করুন।
- টোকেন : স্ট্যাটিক এবং এজেন্টিক উভয় প্রসেসিং মোডে ভিডিও কন্টেন্ট কীভাবে টোকেনাইজ করা হয়, তা বুঝুন।
- সিস্টেম নির্দেশাবলী : সিস্টেম নির্দেশাবলী আপনাকে আপনার নির্দিষ্ট প্রয়োজন এবং ব্যবহারের ক্ষেত্র অনুযায়ী মডেলের আচরণ নিয়ন্ত্রণ করতে দেয়।
- ফাইলস এপিআই : জেমিনির সাথে ব্যবহারের জন্য ফাইল আপলোড এবং পরিচালনা সম্পর্কে আরও জানুন।
- ফাইল প্রম্পটিং কৌশল : জেমিনি এপিআই টেক্সট, ছবি, অডিও এবং ভিডিও ডেটা দিয়ে প্রম্পটিং সমর্থন করে, যা মাল্টিমোডাল প্রম্পটিং নামেও পরিচিত।
- নিরাপত্তা নির্দেশিকা : কখনও কখনও জেনারেটিভ এআই মডেলগুলি অপ্রত্যাশিত আউটপুট তৈরি করে, যেমন ভুল, পক্ষপাতদুষ্ট বা আপত্তিকর আউটপুট। এই ধরনের আউটপুট থেকে ক্ষতির ঝুঁকি সীমিত করার জন্য পোস্ট-প্রসেসিং এবং মানুষের মূল্যায়ন অপরিহার্য।