DiffusionGemma মডেল কার্ড

Hugging Face | GitHub | ব্লগ লঞ্চ করুন | ডকুমেন্টেশন
লাইসেন্স: Apache 2.0 | লেখক: Google DeepMind

DiffusionGemma হল Google DeepMind-এর তৈরি করা একটি জেনারেটিভ মডেল। 26B A4B মিক্সচার-অফ-এক্সপার্টস (MoE) Gemma 4 আর্কিটেকচারের উপর ভিত্তি করে, DiffusionGemma ডিসক্রিট ডিফিউশন ব্যবহার করে টোকেন তৈরি করে। এই ওপেন-ওয়েট মডেলটি মাল্টিমোডাল, যা টেক্সট আউটপুট জেনারেট করার জন্য টেক্সট, ছবি ও ভিডিও ইনপুট ম্যানেজ করে।

MoE ফাউন্ডেশনের উপর ভিত্তি করে তৈরি, DiffusionGemma-কে বিভিন্ন হার্ডওয়্যার এনভায়রনমেন্টে ডেপ্লয় করার উপযুক্ত রেখে জেনারেশন স্পিড (প্রতি সেকেন্ডে টোকেন) উন্নত করার জন্য ডিজাইন করা হয়েছে। DiffusionGemma, Gemma 4-এর আর্কিটেকচারাল ও কার্যকারিতা সংক্রান্ত উন্নতির উপর ভিত্তি করে তৈরি করা হয়েছে এবং এতে বেশ কিছু মূল ফিচার যোগ করা হয়েছে:

• ডিসক্রিট টেক্সট ডিফিউশন – টোকেন-বাই-টোকেন অটো-রিগ্রেশন থেকে ব্লক-অটো-রিগ্রেসিভ মাল্টি-ক্যানভাস স্যাম্পলিংয়ে শিফট করে। এটি সমান্তরালভাবে টোকেনের ব্লক (একটি 'ক্যানভাস') পুনরাবৃত্তিমূলকভাবে ডিনোয়েজ করে টেক্সট তৈরি করে, যা ডিকোডিংয়ের গতি উল্লেখযোগ্যভাবে বৃদ্ধি করে।
• মাল্টিমোডাল ইনপুট প্রসেসিং – টেক্সট আউটপুট জেনারেট করার জন্য ইন্টারলিভড টেক্সট, ছবি (পরিবর্তনশীল অ্যাস্পেক্ট রেশিও এবং রেজোলিউশন সাপোর্ট সহ) এবং ভিডিও ইনপুট প্রসেস করে।
• এনকোডার-ডিকোডার আর্কিটেকচার – প্রম্পটের প্রসঙ্গ প্রসেস ও ক্যাশে করতে অটোরিগ্রেসিভ এনকোডার ব্যবহার করে, যা ডিকোডারের সাথে পেয়ার করা থাকে। এই ডিকোডার জেনারেশন ক্যানভাসে দ্বিমুখী অ্যাটেনশন প্রয়োগ করে।
• মিক্সচার-অফ-এক্সপার্ট (MoE) দক্ষতা – লোকাল এক্সিকিউশনের জন্য উপযুক্ত কম মেমরি ফুটপ্রিন্ট বজায় রেখে শক্তিশালী যুক্তি দেওয়ার ক্ষমতা প্রদান করার জন্য একটি স্পার্স MoE ডিজাইন (মোট ১২৮টির মধ্যে ৮টি অ্যাক্টিভ এক্সপার্ট) ব্যবহার করে।
• Thinking Mode (Reasoning) – কনফিগার করা যায় এমন থিঙ্কিং মোড সহ, অত্যন্ত দক্ষ রিজোনার হিসেবে ডিজাইন করা হয়েছে।
• ছোট ব্যাচ সাইজ ইনফারেন্সের জন্য অপ্টিমাইজ করা – একটি সক্ষম অ্যাক্সিলারেটরে কম-লেটেন্সি, হাই-স্পিড জেনারেশনের জন্য বিশেষভাবে ইঞ্জিনিয়ার করা হয়েছে।
• নেটিভ সিস্টেম প্রম্পট সাপোর্ট – Gemma 4-এর মতো, এটিও system ভূমিকা আপডেট করার সুবিধা দেয়, যার ফলে আরও স্ট্রাকচার্ড ও কন্ট্রোল করা যায় এমন কথোপকথন সম্ভব হয়।

মডেল ওভারভিউ

স্ট্যান্ডার্ড কজাল ল্যাঙ্গুয়েজ মডেলের সিকোয়েন্সিয়াল বাধা কমানোর জন্য DiffusionGemma ইঞ্জিনিয়ার করা হয়েছে। এটি এনকোডার-ডিকোডার আর্কিটেকচার ব্যবহার করে যা বিশেষভাবে ইনফারেন্স স্পিডের জন্য অপ্টিমাইজ করা হয়েছে।

এনকোডার প্রিফিল ক্যাপাসিটিতে কাজ করে, প্রাথমিক প্রম্পট প্রসেস করে এবং KV ক্যাশে তৈরি করে। ডিকোডার তারপর টোকেনের ইনপুট ব্লক (একটি 'ক্যানভাস') প্রসেস করতে দ্বিমুখী মনোযোগ ব্যবহার করে, ক্রস-অ্যাটেনশনের মাধ্যমে ক্যাশে করা প্রসঙ্গ অ্যাক্সেস করে।

ইনফারেন্সের সময়, DiffusionGemma মাল্টি-ক্যানভাস স্যাম্পলিং ব্যবহার করে। একবারে একটি টোকেন তৈরি করার পরিবর্তে, মডেলটি ডিফিউশন স্যাম্পলার ব্যবহার করে টোকেনের একটি সম্পূর্ণ ব্লককে বারবার ডিনয়েজ করে। ক্যানভাস থেকে সম্পূর্ণভাবে নয়েজ সরিয়ে দেওয়ার পরে, এটি এনকোডার দ্বারা প্রসেস করা হয় এবং KV ক্যাশেতে যোগ করা হয়, যার পরে মডেলটি পরবর্তী ক্যানভাস তৈরি করে। এই ব্লক-অটোরিগ্রেসিভ অ্যাপ্রোচ আরও দ্রুত গতিতে টেক্সট তৈরি করতে সাহায্য করে।

DiffusionGemma

প্রপার্টি	DiffusionGemma 26B A4B
মোট প্যারামিটার	২৫.২ বিলিয়ন
অ্যাক্টিভ প্যারামিটার	৩.৮ বিলিয়ন
লেয়ার	৩০
স্লাইডিং উইন্ডো	১০২৪টি টোকেন
কন্টেক্সটের দৈর্ঘ্য	সর্বাধিক ২৫৬K টোকেন
ক্যানভাসের দৈর্ঘ্য	256
শব্দভাণ্ডারের সাইজ	২৬২ হাজার
এক্সপার্টের সংখ্যা	৮টি অ্যাক্টিভ / মোট ১২৮টি এবং ১টি শেয়ার করা হয়েছে
কাজ করে এমন মোডালিটি	টেক্সট, ছবি
ভিশন এনকোডার প্যারামিটার	~৫৫০ মিলিয়ন

বেঞ্চমার্কের ফলাফল

টেক্সট জেনারেশনের বিভিন্ন দিক কভার করার জন্য বিভিন্ন ডেটাসেট এবং মেট্রিক্সের একটি বড় সংগ্রহের বিপরীতে এই মডেলগুলি মূল্যায়ন করা হয়েছে। টেবিলে চিহ্নিত মূল্যায়ন ফলাফলগুলি হল নির্দেশাবলী-টিউন করা মডেলের জন্য, যেখানে প্রস্তাবিত এন্ট্রপি বাউন্ড (EB) স্যাম্পলার ব্যবহার করা হয়েছে (নিচে পেশাদার পদ্ধতি দেখুন)।

বেঞ্চমার্ক	DiffusionGemma 26B A4B	Gemma 4 26B A4B
MMLU Pro	৭৭.৬%	৮২.৬%
AIME 2026 no tools	৬৯.১%	৮৮.৩%
LiveCodeBench v6	৬৯.১%	৭৭.১%
Codeforces ELO	1429	1718
GPQA Diamond	৭৩.২%	৮২.৩%
Tau2 (৩-এর বেশি গড়)	৫৬.২%	৬৮.২%
HLE no tools	১১.০%	৮.৭%
সার্চ সহ HLE	১১.৯%	১৭.২%
BigBench Extra Hard	৪৭.৬%	৬৪.৮%
MMMLU	৮১.৫%	৮৬.৩%
দৃষ্টিশক্তি
MMMU Pro	৫৪.৩%	৭৩.৮%
OmniDocBench 1.5 (এডিট ডিস্ট্যান্সের গড়, কম হলে ভালো)	0.319	0.149
MATH-Vision	৭০.৫%	৮২.৪%
MedXPertQA MM	৪৯.০%	৫৮.১%
অনেক বড় প্রসঙ্গ
MRCR v2 8 needle 128k (average)	৩২.০%	৪৪.১%

মূল ক্ষমতা

DiffusionGemma টেক্সট ও ভিশন জুড়ে বিস্তৃত পরিসরের কাজ পরিচালনা করে। মূল কার্যকারিতার মধ্যে এগুলি অন্তর্ভুক্ত:

• হাই-স্পিড জেনারেশন - ডিফিউশন স্যাম্পলিংয়ের মাধ্যমে ২৫৬ টোকেনের সমান্তরাল ডিনয়েজিং প্রতিটি ফরওয়ার্ড পাসে ১৫-২০টি টোকেন জেনারেট করে কম লেটেন্সি অর্জন করে, কম ব্যাচ সাইজ সেটিংসে (H100, FP8) প্রতি সেকেন্ডে ১১০০টির বেশি টোকেন জেনারেট করার মাধ্যমে প্রতি ব্যবহারকারীর জেনারেশন স্পিড আনলক করে।
• অ্যাডাপ্টিভ ইনফারেন্স টাইম কম্পিউটেশন - কোডের মতো সহজ প্রম্পট ও স্ট্রাকচার্ড টাস্কের জন্য কম ডিনয়েজিং স্টেপের প্রয়োজন হয়, যা টাস্কের জটিলতার উপর নির্ভর করে ডায়নামিক টোকেন-প্রতি-সেকেন্ড স্পিড চালু করে।
• Thinking – বিল্ট-ইন রিজনিং মোড যা মডেলকে উত্তর দেওয়ার আগে ধাপে ধাপে চিন্তা করতে দেয়।
• অনেক বড় প্রসঙ্গ – ২৫৬K টোকেন পর্যন্ত কন্টেক্সট উইন্ডো।
• ছবি বুঝতে পারা – অবজেক্ট ডিটেকশন, ডকুমেন্ট/পিডিএফ পার্সিং, স্ক্রিন ও UI বুঝতে পারা, চার্ট বোঝা, OCR (বহুভাষিক সহ), হাতে লেখা শনাক্তকরণ ও পয়েন্ট করা। বিভিন্ন অ্যাস্পেক্ট রেশিও ও রেজোলিউশনে ছবি প্রসেস করা যেতে পারে।
• ভিডিও বোঝা – ফ্রেমের ক্রম প্রসেস করার মাধ্যমে ভিডিও কন্টেন্ট বিশ্লেষণ ও বর্ণনা করে।
• ইন্টারলিভড মাল্টিমোডাল ইনপুট – প্রসঙ্গ-ভারী যুক্তির জন্য একটি প্রম্পটের মধ্যে ছবি, ভিডিও এবং টেক্সট মিক্স করুন।
• ফাংশন কলিং – স্ট্রাকচার্ড টুল ব্যবহারের জন্য নেটিভ সাপোর্ট, যা এজেন্টিক ওয়ার্কফ্লো চালু করে।
• কোডিং ও রিজনিং – কোড তৈরি, সম্পূর্ণ করা এবং ধাপে ধাপে লজিক্যাল রিজনিংয়ের ক্ষেত্রে দক্ষ।
• মাল্টিলিঙ্গুয়াল – ৩৫টির বেশি ভাষায় আউট-অফ-দ্য-বক্স সাপোর্ট, ১৪০টির বেশি ভাষায় প্রি-ট্রেন করা।

পেশাদার পদ্ধতি

সেরা পারফর্ম্যান্সের জন্য, এইসব কনফিগারেশন ও পেশাদার পদ্ধতি ব্যবহার করুন:

১. ডিফিউশন স্যাম্পলিং সেটিংস

সব ব্যবহারের ক্ষেত্রে নিম্নলিখিত স্ট্যান্ডার্ডাইজড স্যাম্পলিং কনফিগারেশন ব্যবহার করুন:

• পদ্ধতি: এন্ট্রপি-বাউন্ডেড ডিনয়েজিং ও অ্যাডাপ্টিভ স্টপিং সহ ডিফিউশন স্যাম্পলিং।
• স্যাম্পলিং কনফিগারেশন:
  • ডিনয়েজিং স্টেপের সর্বাধিক সংখ্যা = ৪৮
  • তাপমাত্রা শিডিউল (লজিট শেপিংয়ের জন্য): ০.৮ → ০.৪ থেকে লিনিয়ার ডিকে
  • টোকেন বেছে নেওয়া: প্রতিটি ধাপে, স্যাম্পলার সবচেয়ে কম এন্ট্রপি টোকেন বেছে নেয় যাতে তাদের পারস্পরিক তথ্য বাউন্ড এন্ট্রপি বাউন্ডের নিচে থাকে বাউন্ড = ০.১
  • টোকেন রিনয়েজিং: স্যাম্পলার বেছে না নেওয়া টোকেনগুলি সম্পূর্ণভাবে রিনয়েজ করে
• অ্যাডাপ্টিভ স্টপিং: স্যাম্পলিং তাড়াতাড়ি শেষ হয়ে যায় যদি এবং শুধুমাত্র যদি নিম্নলিখিত দুটি শর্তই একসাথে পূরণ হয়:
  • কনফিডেন্ট প্রেডিকশন: ক্যানভাসে গড় মডেল এনট্রপি এনট্রপি থ্রেশহোল্ডের নিচে = ০.০০৫
  • স্টেবল প্রেডিকশন: সবচেয়ে বেশি সম্ভাবনাময় টোকেন প্রেডিকশন পরপর দুটি ডিনয়েজিং স্টেপ জুড়ে একই থাকে

২. Thinking মোড কনফিগারেশন

Gemma 4 মডেলের মতোই, আমরা স্ট্যান্ডার্ড system, assistant, এবং user ভূমিকা ব্যবহার করি। চিন্তা করার প্রসেস সঠিকভাবে ম্যানেজ করতে, নিম্নলিখিত কন্ট্রোল টোকেন ব্যবহার করুন:

• ট্রিগার থিঙ্কিং: সিস্টেম প্রম্পটের শুরুতে <|think|> টোকেন যোগ করে থিঙ্কিং চালু করা হয়। চিন্তাভাবনা করার প্রসেস বন্ধ করতে, টোকেন সরিয়ে দিন (মনে রাখবেন যে খালি চিন্তাভাবনা চ্যানেল এখনও নির্গত হতে পারে)।
• স্ট্যান্ডার্ড জেনারেশন: থিঙ্কিং চালু করা থাকলে, মডেলটি এই স্ট্রাকচার ব্যবহার করে তার ইন্টার্নাল রিজনিং এবং তারপরে চূড়ান্ত উত্তর আউটপুট করবে: <|channel>thought\n[ইন্টার্নাল রিজনিং]<channel|>।
• Thinking আচরণ বন্ধ করা: Thinking বন্ধ করা থাকলে, মডেলটি এখনও ট্যাগ তৈরি করবে কিন্তু একটি খালি thought ব্লকের সাথে: <|channel>thought\n<channel|>[Final answer].

মনে রাখবেন যে ট্রান্সফর্মারের মতো অনেক লাইব্রেরি আপনার জন্য চ্যাট টেমপ্লেটের জটিলতা ম্যানেজ করে।

৩. মাল্টি-টার্ন কথোপকথন

• ইতিহাসে কোনও থিঙ্কিং কন্টেন্ট নেই: মাল্টি-টার্ন কথোপকথনে, ঐতিহাসিক মডেল আউটপুটে শুধুমাত্র চূড়ান্ত উত্তর অন্তর্ভুক্ত করা উচিত। পরবর্তী ব্যবহারকারীর টার্ন শুরু হওয়ার আগে আগের মডেল টার্নের চিন্তাভাবনা যোগ করা যাবে না।

৪. মোডালিটি অর্ডার

• মাল্টিমোডাল ইনপুটের সাথে সেরা পারফর্ম্যান্সের জন্য, আপনার প্রম্পটে টেক্সটের আগে ছবির কন্টেন্ট রাখুন।

৫. ভেরিয়েবেল ইমেজ রেজোলিউশন

পরিবর্তনশীল অ্যাস্পেক্ট রেশিও ছাড়াও, DiffusionGemma কনফিগারযোগ্য ভিজ্যুয়াল টোকেন বাজেটের মাধ্যমে পরিবর্তনশীল ইমেজ রেজোলিউশন সাপোর্ট করে, যা একটি ইমেজ দেখানোর জন্য কতগুলি টোকেন ব্যবহার করা হয় তা নিয়ন্ত্রণ করে। টোকেন বাজেট বেশি হলে অতিরিক্ত কম্পিউটের বিনিময়ে আরও বেশি ভিজ্যুয়াল বিবরণ সংরক্ষিত হয়, অন্যদিকে বাজেট কম হলে যেসব টাস্কের জন্য সূক্ষ্মভাবে বোঝার প্রয়োজন হয় না, সেগুলির জন্য দ্রুত ইনফারেন্স করা যায়।

• ব্যবহারযোগ্য টোকেন বাজেট হল: ৭০, ১৪০, ২৮০, ৫৬০ এবং ১১২০।
  • শ্রেণিবিভাগ, ক্যাপশনিং বা ভিডিও বোঝার জন্য কম বাজেট ব্যবহার করুন, যেখানে দ্রুত অনুমান এবং অনেক ফ্রেম প্রসেস করা সূক্ষ্ম-দানাযুক্ত বিবরণের চেয়ে বেশি গুরুত্বপূর্ণ।
  • OCR, ডকুমেন্ট পার্সিং বা ছোট টেক্সট পড়ার মতো টাস্কের জন্য আরও বেশি বাজেট ব্যবহার করুন।

৬. ভিডিওর দৈর্ঘ্য

সব মডেলে ইমেজ ইনপুট কাজ করে এবং ফ্রেম হিসেবে ভিডিও প্রসেস করতে পারে। ভিডিওতে সর্বাধিক ৬০ সেকেন্ডের ছবি প্রসেস করা যায়, যদি প্রতি সেকেন্ডে একটি করে ফ্রেম প্রসেস করা হয়।

মডেল ডেটা

মডেল ট্রেনিংয়ের জন্য ব্যবহার করা ডেটা এবং কীভাবে ডেটা প্রসেস করা হয়েছে।

ট্রেনিং ডেটাসেট

আমাদের প্রি-ট্রেনিং ডেটাসেট হল ডেটার একটি বৃহৎ-স্কেল, বৈচিত্র্যময় সংগ্রহ যা ডোমেন এবং মোডালিটির একটি বিস্তৃত পরিসরকে অন্তর্ভুক্ত করে, যার মধ্যে রয়েছে ওয়েব ডকুমেন্ট, কোড, ছবি, অডিও, যার কাটঅফ তারিখ হল জানুয়ারি ২০২৫। এখানে মূল উপাদানগুলি দেওয়া হল:

• ওয়েব ডকুমেন্ট: ওয়েব টেক্সটের বিভিন্ন ধরনের সংগ্রহ নিশ্চিত করে যে মডেলটি ভাষাগত স্টাইল, বিষয় ও শব্দভাণ্ডারের বিস্তৃত রেঞ্জের সাথে পরিচিত। ট্রেনিং ডেটাসেটে ১৪০টিরও বেশি ভাষার কন্টেন্ট অন্তর্ভুক্ত আছে।
• কোড: মডেলকে কোড এক্সপোজ করলে তা প্রোগ্রামিং ল্যাঙ্গুয়েজের সিনট্যাক্স ও প্যাটার্ন শিখতে সাহায্য করে, যা কোড তৈরি করা ও কোড-সম্পর্কিত প্রশ্ন বোঝার ক্ষেত্রে এর ক্ষমতাকে উন্নত করে।
• গণিত: গাণিতিক টেক্সটের উপর ট্রেনিং মডেলটিকে লজিক্যাল রিজনিং, প্রতীকী উপস্থাপনা এবং গাণিতিক কোয়েরির উত্তর দিতে সাহায্য করে।
• ছবি: বিভিন্ন ধরনের ছবি মডেলকে ছবি বিশ্লেষণ ও ভিজ্যুয়াল ডেটা এক্সট্র্যাক্ট করার কাজ করতে সাহায্য করে।

এইসব বিভিন্ন ডেটা সোর্সের কম্বিনেশন একটি শক্তিশালী মাল্টিমোডাল মডেলকে ট্রেনিং দেওয়ার জন্য অত্যন্ত গুরুত্বপূর্ণ, যা বিভিন্ন ধরনের টাস্ক এবং ডেটা ফর্ম্যাট ম্যানেজ করতে পারে।

ডেটা প্রিপ্রসেসিং

ট্রেনিং ডেটার ক্ষেত্রে প্রয়োগ করা ডেটা ক্লিন ও ফিল্টার করার মূল পদ্ধতিগুলি এখানে দেওয়া হল:

• CSAM ফিল্টারিং: ক্ষতিকর ও বেআইনি কন্টেন্ট বাদ দেওয়ার বিষয়টি নিশ্চিত করতে, ডেটা প্রস্তুত করার প্রসেসের একাধিক ধাপে কঠোরভাবে CSAM (শিশু যৌন নিগ্রহ সংক্রান্ত কন্টেন্ট) ফিল্টারিং প্রয়োগ করা হয়েছে।
• সংবেদনশীল ডেটা ফিল্টার করা: Gemma প্রি-ট্রেনড মডেলকে নিরাপদ ও নির্ভরযোগ্য করে তোলার অংশ হিসেবে, ট্রেনিং সেট থেকে নির্দিষ্ট ব্যক্তিগত তথ্য ও অন্যান্য সংবেদনশীল ডেটা ফিল্টার করে বাদ দেওয়ার জন্য অটোমেটেড টেকনিক ব্যবহার করা হয়েছে।
• অতিরিক্ত পদ্ধতি: আমাদের নীতি অনুযায়ী কন্টেন্টের কোয়ালিটি ও নিরাপত্তার ভিত্তিতে ফিল্টার করা।

নৈতিকতা ও নিরাপত্তা

এন্টারপ্রাইজ পরিকাঠামোর ক্ষেত্রে ওপেন মডেলগুলি গুরুত্বপূর্ণ হয়ে ওঠার সাথে সাথে, উৎস এবং নিরাপত্তা অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠেছে। Google DeepMind-এর তৈরি DiffusionGemma-কে আমাদের মালিকানাধীন Gemini মডেলের মতোই কঠোর নিরাপত্তা মূল্যায়নের মধ্য দিয়ে যেতে হয়।

মূল্যায়নের পদ্ধতি

DiffusionGemma ইন্টার্নাল নিরাপত্তা ও দায়িত্বশীল AI টিমের সাথে পার্টনারশিপে তৈরি করা হয়েছে। মডেলের নিরাপত্তা উন্নত করতে সাহায্য করার জন্য অটোমেটিক ও হিউম্যান রিভিউয়ের একটি রেঞ্জ পরিচালনা করা হয়েছে। এই মূল্যায়ন Google-এর AI নীতি এবং নিরাপত্তা নীতি মেনে চলে, যার উদ্দেশ্য হল আমাদের জেনারেটিভ AI মডেলকে ক্ষতিকর কন্টেন্ট তৈরি করা থেকে আটকানো, যার মধ্যে রয়েছে:

• শিশু যৌন নিগ্রহ এবং শোষণ সম্পর্কিত কন্টেন্ট
• বিপজ্জনক কন্টেন্ট (যেমন, আত্মহত্যায় উৎসাহ দেওয়া বা এমন কোনও অ্যাক্টিভিটির ব্যাপারে নির্দেশ দেওয়া যা বাস্তবে ক্ষতি করতে পারে)
• যৌনতাপূর্ণ অনুপযুক্ত কন্টেন্ট
• ঘৃণাত্মক বক্তব্য (যেমন, সুরক্ষিত গ্রুপের মেম্বারদের অমানবিকভাবে অপমান করা)
• হয়রানি (যেমন, লোকজনের বিরুদ্ধে হিংসায় উৎসাহ দেওয়া)

মূল্যায়নের ফলাফল

নিরাপত্তা পরীক্ষার সব ক্ষেত্রে, আমরা Gemma মডেলের পূর্ববর্তী প্রজন্মের তুলনায় কন্টেন্ট নিরাপত্তার সব বিভাগে উল্লেখযোগ্য উন্নতি দেখেছি। সামগ্রিকভাবে, DiffusionGemma, Gemma 4 মডেলের মতো, অযৌক্তিক প্রত্যাখ্যান কম রেখে নিরাপত্তা উন্নত করার ক্ষেত্রে Gemma 3 এবং 3n মডেলের চেয়ে উল্লেখযোগ্যভাবে ভালো পারফর্ম করে। মডেলের প্রাথমিক ক্ষমতা ও বেসলাইন আচরণ মূল্যায়ন করার জন্য ইচ্ছাকৃতভাবে নিরাপত্তা ফিল্টার ছাড়াই সব পরীক্ষা করা হয়েছে। টেক্সট-টু-টেক্সট এবং ইমেজ-টু-টেক্সট, উভয় ক্ষেত্রেই এবং সব মডেল সাইজ জুড়ে, মডেলটি ন্যূনতম নীতি লঙ্ঘন করেছে এবং আগের Gemma মডেলের তুলনায় উল্লেখযোগ্য উন্নতি দেখিয়েছে।

ব্যবহার ও সীমাবদ্ধতা

এইসব মডেলের কিছু সীমাবদ্ধতা আছে যা ব্যবহারকারীদের জানা উচিত।

ব্যবহারের উদ্দেশ্য

মাল্টিমোডাল মডেল (ভিশন, ভাষা এবং/অথবা অডিও প্রসেস করতে সক্ষম) বিভিন্ন ইন্ডাস্ট্রি এবং ডোমেন জুড়ে বিস্তৃত পরিসরে অ্যাপ্লিকেশন রয়েছে। সম্ভাব্য ব্যবহারের নিম্নলিখিত তালিকাটি সম্পূর্ণ নয়। এই তালিকার উদ্দেশ্য হল সম্ভাব্য ব্যবহারের ক্ষেত্র সম্পর্কে প্রাসঙ্গিক তথ্য প্রদান করা, যা মডেল ক্রিয়েটররা মডেল ট্রেনিং ও ডেভেলপমেন্টের অংশ হিসেবে বিবেচনা করেছেন।

• কন্টেন্ট তৈরি ও যোগাযোগ
  • টেক্সট জেনারেট করা: কবিতা, স্ক্রিপ্ট, কোড, মার্কেটিং কপি এবং ইমেল ড্রাফ্টের মতো ক্রিয়েটিভ টেক্সট ফর্ম্যাট জেনারেট করে।
  • চ্যাটবট এবং কনভারসেশনাল AI: গ্রাহক পরিষেবা, ভার্চুয়াল অ্যাসিস্ট্যান্ট বা ইন্টার‍্যাক্টিভ অ্যাপ্লিকেশনের জন্য কনভারসেশনাল ইন্টারফেসকে শক্তিশালী করে।
  • টেক্সট সারসংক্ষেপ: টেক্সট করপাস, রিসার্চ পেপার বা রিপোর্টের সংক্ষিপ্ত সারসংক্ষেপ তৈরি করে।
  • ছবি থেকে ডেটা এক্সট্র্যাক্ট করা: টেক্সট কমিউনিকেশনের জন্য ভিজ্যুয়াল ডেটা এক্সট্র্যাক্ট, ব্যাখ্যা ও সারসংক্ষেপ করে।
• রিসার্চ ও শিক্ষা
  • ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) এবং VLM রিসার্চ: গবেষকদের জন্য VLM এবং NLP টেকনিক নিয়ে পরীক্ষা-নিরীক্ষা করা, অ্যালগরিদম তৈরি করা এবং এই ফিল্ডের অগ্রগতিতে অবদান রাখার জন্য একটি ভিত্তি হিসেবে কাজ করে।
  • ভাষা শেখার টুল: ইন্টার‍্যাক্টিভ ভাষা শেখার অভিজ্ঞতা প্রদান করে, ব্যাকরণগত ভুল সংশোধন করতে সাহায্য করে বা লেখার অনুশীলন করতে দেয়।
  • জ্ঞান অন্বেষণ: গবেষকদের সারসংক্ষেপ তৈরি করে বা নির্দিষ্ট বিষয় সম্পর্কে প্রশ্নের উত্তর দিয়ে টেক্সটের বড় অংশ অন্বেষণ করতে সহায়তা করে।

সীমাবদ্ধতা

• ট্রেনিং ডেটা
  • ট্রেনিং ডেটার কোয়ালিটি ও বৈচিত্র্য মডেলের ক্ষমতার উপর উল্লেখযোগ্য প্রভাব ফেলে। ট্রেনিং ডেটায় পক্ষপাত বা ফাঁক থাকলে, মডেলের উত্তরে সীমাবদ্ধতা দেখা যেতে পারে।
  • ট্রেনিং ডেটাসেটের স্কোপ নির্ধারণ করে যে মডেলটি কোন কোন বিষয় দক্ষতার সাথে ম্যানেজ করতে পারবে।
• প্রসঙ্গ ও টাস্কের জটিলতা
  • স্পষ্ট প্রম্পট ও নির্দেশাবলীর মাধ্যমে ফ্রেম করা যায় এমন টাস্কের ক্ষেত্রে মডেলটি ভালো পারফর্ম করে। ওপেন-এন্ডেড বা অত্যন্ত জটিল টাস্কের ক্ষেত্রে চ্যালেঞ্জিং হতে পারে।
  • মডেলের পারফর্ম্যান্স কতটা ভালো হবে তা নির্ভর করে কতটা প্রসঙ্গ প্রদান করা হয়েছে তার উপর (সাধারণত, যত বেশি প্রসঙ্গ প্রদান করা হয়, তত ভালো আউটপুট পাওয়া যায়, তবে একটি নির্দিষ্ট সীমা পর্যন্ত)।
• ভাষার অস্পষ্টতা ও সূক্ষ্ম পার্থক্য
  • ন্যাচারাল ল্যাঙ্গুয়েজ সহজাতভাবেই জটিল। মডেলটি সূক্ষ্ম পার্থক্য, ব্যঙ্গ বা রূপক ভাষা বুঝতে সমস্যায় পড়তে পারে।
• ফ্যাকচুয়াল সঠিকতা
  • মডেলটি তার ট্রেনিং ডেটাসেট থেকে শেখা তথ্যের উপর ভিত্তি করে উত্তর তৈরি করে, কিন্তু সেগুলি নলেজ বেস নয়। এটি ভুল বা পুরনো ফ্যাকচুয়াল স্টেটমেন্ট তৈরি করতে পারে।
• কমন সেন্স
  • মডেলটি ভাষার পরিসংখ্যানগত প্যাটার্নের উপর নির্ভর করে। নির্দিষ্ট কিছু পরিস্থিতিতে সাধারণ জ্ঞান প্রয়োগ করার ক্ষমতা এর নাও থাকতে পারে।

নৈতিক বিবেচনা ও ঝুঁকি

একটি ওপেন, ভিশন-ল্যাঙ্গুয়েজ মডেল তৈরি করার সময়, আমরা নিম্নলিখিত বিষয়গুলি যত্ন সহকারে বিবেচনা করেছি:

• পক্ষপাতিত্ব ও নিরপেক্ষতা
  • বাস্তব জগতের টেক্সট ও ছবির ডেটা নিয়ে বড় স্কেলে ট্রেনিং দেওয়া VLM-এ ট্রেনিং মেটেরিয়ালে এমবেড করা সামাজিক-সাংস্কৃতিক পক্ষপাতিত্ব প্রতিফলিত হতে পারে। এই ধরনের পক্ষপাতিত্বের ঝুঁকি কমাতে, DiffusionGemma-কে সতর্কতার সাথে যাচাই করা, ইনপুট ডেটা প্রি-প্রসেসিং এবং পোস্ট-ট্রেনিং মূল্যায়ন করা হয়েছে, যেমনটি এই কার্ডে রিপোর্ট করা হয়েছে।
• ভুল তথ্য ও অপব্যবহার
  • মিথ্যা, বিভ্রান্তিকর বা ক্ষতিকর টেক্সট জেনারেট করার জন্য VLM-এর অপব্যবহার করা হতে পারে।
  • মডেলের সাথে দায়িত্বপূর্ণ ব্যবহারের জন্য নির্দেশিকা প্রদান করা হয়েছে, দায়িত্বপূর্ণ জেনারেটিভ AI টুলকিট দেখুন।
• স্বচ্ছতা ও জবাবদিহিতা
  • এই মডেল কার্ডে মডেলের আর্কিটেকচার, ক্ষমতা, সীমাবদ্ধতা এবং মূল্যায়ন প্রসেস সম্পর্কে সংক্ষিপ্ত বিবরণ দেওয়া হয়েছে।
  • দায়িত্ব সহকারে ডেভেলপ করা ওপেন মডেল, AI ইকোসিস্টেম জুড়ে ডেভেলপার ও গবেষকদের কাছে VLM টেকনোলজি অ্যাক্সেসযোগ্য করে তোলার মাধ্যমে উদ্ভাবন শেয়ার করার সুযোগ প্রদান করে।

শনাক্ত করা ঝুঁকি ও তার প্রশমন:

• ক্ষতিকর কন্টেন্ট তৈরি করা: কন্টেন্টের নিরাপত্তার জন্য মেকানিজম ও নির্দেশিকা অপরিহার্য। ডেভেলপারদের সতর্কতা অবলম্বন করতে এবং তাদের নির্দিষ্ট প্রোডাক্ট নীতি ও অ্যাপ্লিকেশন ব্যবহারের কেসের উপর ভিত্তি করে উপযুক্ত কন্টেন্ট নিরাপত্তা সংক্রান্ত সুরক্ষা ব্যবস্থা প্রয়োগ করতে উৎসাহিত করা হয়।
• ক্ষতিকর উদ্দেশ্যে অপব্যবহার: প্রযুক্তিগত সীমাবদ্ধতা এবং ডেভেলপার ও ব্যবহারকারীদের শিক্ষিত করা VLM-এর ক্ষতিকর অ্যাপ্লিকেশনগুলির বিরুদ্ধে প্রশমিত করতে সাহায্য করতে পারে। ব্যবহারকারীদের অপব্যবহার ফ্ল্যাগ করার জন্য শিক্ষামূলক রিসোর্স এবং অভিযোগ জানানোর মেকানিজম প্রদান করা হয়।
• গোপনীয়তা লঙ্ঘন: নির্দিষ্ট ব্যক্তিগত তথ্য ও অন্যান্য সংবেদনশীল ডেটা সরানোর জন্য ফিল্টার করা ডেটার উপর মডেলগুলিকে ট্রেনিং দেওয়া হয়েছে। ডেভেলপারদের গোপনীয়তা সুরক্ষিত রাখার টেকনিকের মাধ্যমে গোপনীয়তা সংক্রান্ত রেগুলেশন মেনে চলতে উৎসাহিত করা হয়।
• পক্ষপাতিত্বের স্থায়ীকরণ: মডেল ট্রেনিং, ফাইন-টিউন ও অন্যান্য ব্যবহারের ক্ষেত্রে ক্রমাগত মনিটর করা (মূল্যায়ন মেট্রিক, হিউম্যান রিভিউ ব্যবহার করে) এবং পক্ষপাতিত্ব দূর করার টেকনিক এক্সপ্লোর করার জন্য উৎসাহিত করা হয়।

সুবিধা

রিলিজের সময়, এটি একটি কম-লেটেন্সি, উচ্চ-পারফর্ম্যান্স ওপেন ভিশন-ল্যাঙ্গুয়েজ মডেল যা ডেভেলপার এবং ডিফিউশন ল্যাঙ্গুয়েজ মডেল নিয়ে গবেষণায় আগ্রহী ব্যক্তিদের জন্য একটি আকর্ষণীয় বিকল্প প্রদান করে। একই সাইজের অন্যান্য মডেলের তুলনায় দায়িত্বশীল AI ডেভেলপমেন্টের জন্য এই মডেলটি একদম শুরু থেকে ডিজাইন করা হয়েছে।