মিথুন মডেলগুলি ছবি এবং ভিডিওগুলি প্রক্রিয়া করতে সক্ষম হয়, যা অনেক ফ্রন্টিয়ার ডেভেলপার ব্যবহারের ক্ষেত্রে সক্ষম করে যার জন্য ঐতিহাসিকভাবে ডোমেন নির্দিষ্ট মডেলের প্রয়োজন হবে৷ মিথুনের কিছু দৃষ্টিশক্তির মধ্যে রয়েছে:
- ছবি সম্পর্কে ক্যাপশন এবং প্রশ্নের উত্তর দিন
- 2 মিলিয়ন পর্যন্ত টোকেন সহ পিডিএফের উপর প্রতিলিপি করুন এবং যুক্তি দিন
- বর্ণনা করুন, বিভাগ করুন এবং 90 মিনিট পর্যন্ত ভিডিও থেকে তথ্য বের করুন
- একটি চিত্রে বস্তু সনাক্ত করুন এবং তাদের জন্য বাউন্ডিং বক্স স্থানাঙ্ক ফেরত দিন
জেমিনি মাটি থেকে মাল্টিমোডাল হওয়ার জন্য তৈরি করা হয়েছিল এবং আমরা যা সম্ভব তার সীমানায় ধাক্কা চালিয়ে যাচ্ছি।
এরপর কি
এই গাইডটি কীভাবে চিত্র এবং ভিডিও ফাইলগুলি এপিআই ব্যবহার করে আপলোড করতে হয় এবং তারপরে চিত্র এবং ভিডিও ইনপুটগুলি থেকে পাঠ্য আউটপুট তৈরি করতে দেখায়। আরও জানতে, নিম্নলিখিত সংস্থানগুলি দেখুন:
- ফাইল প্রম্প্টিং কৌশলগুলি : জেমিনি এপিআই পাঠ্য, চিত্র, অডিও এবং ভিডিও ডেটা দিয়ে প্রম্পটকে সমর্থন করে, যা মাল্টিমোডাল প্রম্পটিং নামেও পরিচিত।
- সিস্টেমের নির্দেশাবলী : সিস্টেমের নির্দেশাবলী আপনাকে আপনার নির্দিষ্ট প্রয়োজন এবং ব্যবহারের ক্ষেত্রে ভিত্তিতে মডেলের আচরণ চালাতে দেয়।
- সুরক্ষা নির্দেশিকা : কখনও কখনও জেনারেটর এআই মডেলগুলি অপ্রত্যাশিত আউটপুট তৈরি করে, যেমন আউটপুটগুলি যা ভুল, পক্ষপাতদুষ্ট বা আপত্তিকর। এই জাতীয় ফলাফলগুলি থেকে ক্ষতির ঝুঁকি সীমাবদ্ধ করার জন্য পোস্ট-প্রসেসিং এবং মানব মূল্যায়ন প্রয়োজনীয়।
মিথুন মডেলগুলি চিত্র এবং ভিডিওগুলি প্রক্রিয়া করতে সক্ষম হয়, অনেকগুলি সীমান্ত বিকাশকারী ব্যবহারের ক্ষেত্রে সক্ষম করে যা histor তিহাসিকভাবে ডোমেন নির্দিষ্ট মডেলগুলির প্রয়োজন হয়। জেমিনির কিছু দৃষ্টিভঙ্গির ক্ষমতা অন্তর্ভুক্ত করার ক্ষমতা অন্তর্ভুক্ত করে:
- ক্যাপশন এবং চিত্র সম্পর্কে প্রশ্নের উত্তর
- 2 মিলিয়ন টোকেন সহ পিডিএফএসের উপর প্রতিলিপি এবং যুক্তি
- 90 মিনিট দীর্ঘ ভিডিও থেকে তথ্য বর্ণনা, বিভাগ এবং তথ্য বের করুন
- একটি চিত্রের মধ্যে অবজেক্টগুলি সনাক্ত করুন এবং তাদের জন্য বাউন্ডিং বক্সের স্থানাঙ্কগুলি ফেরত দিন
জেমিনি স্থলভাগ থেকে মাল্টিমোডাল হিসাবে নির্মিত হয়েছিল এবং আমরা যা সম্ভব তার সীমান্তটিকে ধাক্কা দিতে থাকি।
এরপর কি
This guide shows how to upload image and video files using the File API and then generate text outputs from image and video inputs. আরও জানতে, নিম্নলিখিত সংস্থানগুলি দেখুন:
- File prompting strategies : The Gemini API supports prompting with text, image, audio, and video data, also known as multimodal prompting.
- System instructions : System instructions let you steer the behavior of the model based on your specific needs and use cases.
- Safety guidance : Sometimes generative AI models produce unexpected outputs, such as outputs that are inaccurate, biased, or offensive. Post-processing and human evaluation are essential to limit the risk of harm from such outputs.