জেনারেটিভ কৃত্রিম বুদ্ধিমত্তা মডেলগুলি শক্তিশালী হাতিয়ার, তবে এগুলি তাদের সীমাবদ্ধতা ছাড়াই নয়। তাদের বহুমুখীতা এবং প্রযোজ্যতা কখনও কখনও অপ্রত্যাশিত ফলাফলের দিকে পরিচালিত করতে পারে, যেমন আউটপুটগুলি ভুল, পক্ষপাতদুষ্ট বা আক্রমণাত্মক। এই জাতীয় আউটপুট থেকে ক্ষতির ঝুঁকি সীমিত করার জন্য পোস্ট-প্রসেসিং এবং কঠোর ম্যানুয়াল মূল্যায়ন অপরিহার্য।
জেমিনি এপিআই দ্বারা প্রদত্ত মডেলগুলি বিভিন্ন ধরণের জেনারেটিভ এআই এবং ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) অ্যাপ্লিকেশনের জন্য ব্যবহার করা যেতে পারে। এই ফাংশনগুলির ব্যবহার কেবল জেমিনি এপিআই বা গুগল এআই স্টুডিও ওয়েব অ্যাপের মাধ্যমেই পাওয়া যাবে। আপনার জেমিনি এপিআই ব্যবহার জেনারেটিভ এআই নিষিদ্ধ ব্যবহার নীতি এবং জেমিনি এপিআই পরিষেবার শর্তাবলীর অধীন।
বৃহৎ ভাষা মডেল (LLM) এত কার্যকরী হওয়ার একটি কারণ হল এগুলি সৃজনশীল সরঞ্জাম যা বিভিন্ন ভাষার কাজ মোকাবেলা করতে পারে। দুর্ভাগ্যবশত, এর অর্থ হল বৃহৎ ভাষা মডেলগুলি এমন আউটপুট তৈরি করতে পারে যা আপনি আশা করেন না, যার মধ্যে আপত্তিকর, সংবেদনশীল বা বাস্তবিকভাবে ভুল লেখাও অন্তর্ভুক্ত। তদুপরি, এই মডেলগুলির অবিশ্বাস্য বহুমুখীতাও ঠিক কী ধরণের অবাঞ্ছিত আউটপুট তৈরি করতে পারে তা ভবিষ্যদ্বাণী করা কঠিন করে তোলে। যদিও জেমিনি API গুগলের এআই নীতিগুলি মাথায় রেখে ডিজাইন করা হয়েছে, ডেভেলপারদের দায়িত্বশীলভাবে এই মডেলগুলি প্রয়োগ করার দায়িত্ব রয়েছে। নিরাপদ, দায়িত্বশীল অ্যাপ্লিকেশন তৈরিতে ডেভেলপারদের সহায়তা করার জন্য, জেমিনি API-তে কিছু অন্তর্নির্মিত কন্টেন্ট ফিল্টারিং এবং ক্ষতির 4 মাত্রা জুড়ে সামঞ্জস্যযোগ্য সুরক্ষা সেটিংস রয়েছে। আরও জানতে সুরক্ষা সেটিংস নির্দেশিকাটি দেখুন। এটি তথ্যগততা উন্নত করার জন্য Google অনুসন্ধান সক্ষম করে গ্রাউন্ডিংও অফার করে, যদিও এটি এমন ডেভেলপারদের জন্য অক্ষম করা যেতে পারে যাদের ব্যবহারের ক্ষেত্রে আরও সৃজনশীল এবং তথ্য-সন্ধানকারী নয়।
এই নথিটি আপনাকে LLM ব্যবহার করার সময় উদ্ভূত কিছু নিরাপত্তা ঝুঁকির সাথে পরিচয় করিয়ে দেওয়ার জন্য এবং নতুন নিরাপত্তা নকশা এবং উন্নয়নের সুপারিশগুলি সুপারিশ করার জন্য তৈরি করা হয়েছে। (মনে রাখবেন যে আইন এবং প্রবিধানগুলিও বিধিনিষেধ আরোপ করতে পারে, তবে এই ধরনের বিবেচনা এই নির্দেশিকার আওতার বাইরে।)
LLM দিয়ে অ্যাপ্লিকেশন তৈরি করার সময় নিম্নলিখিত পদক্ষেপগুলি সুপারিশ করা হয়:
- আপনার আবেদনের নিরাপত্তা ঝুঁকিগুলি বোঝা
- নিরাপত্তা ঝুঁকি কমাতে সমন্বয় বিবেচনা করা হচ্ছে
- আপনার ব্যবহারের ক্ষেত্রে উপযুক্ত নিরাপত্তা পরীক্ষা করা
- ব্যবহারকারীদের কাছ থেকে প্রতিক্রিয়া চাওয়া এবং ব্যবহার পর্যবেক্ষণ করা
আপনার অ্যাপ্লিকেশনের জন্য উপযুক্ত কর্মক্ষমতা অর্জন না করা পর্যন্ত সমন্বয় এবং পরীক্ষার পর্যায়গুলি পুনরাবৃত্তিমূলক হওয়া উচিত।

আপনার আবেদনের নিরাপত্তা ঝুঁকিগুলি বুঝুন
এই প্রেক্ষাপটে, নিরাপত্তা বলতে একটি LLM-এর ব্যবহারকারীদের ক্ষতি এড়াতে সক্ষমতাকে বোঝানো হচ্ছে, উদাহরণস্বরূপ, বিষাক্ত ভাষা বা স্টেরিওটাইপ প্রচার করে এমন সামগ্রী তৈরি করে। জেমিনি API-এর মাধ্যমে উপলব্ধ মডেলগুলি Google-এর AI নীতিগুলি মাথায় রেখে ডিজাইন করা হয়েছে এবং আপনার এটির ব্যবহার জেনারেটিভ AI নিষিদ্ধ ব্যবহার নীতির অধীন। API বিষাক্ত ভাষা এবং ঘৃণাত্মক বক্তব্যের মতো কিছু সাধারণ ভাষা মডেল সমস্যা সমাধানে সহায়তা করার জন্য অন্তর্নির্মিত সুরক্ষা ফিল্টার সরবরাহ করে, এবং স্টেরিওটাইপগুলি এড়িয়ে চলার জন্য প্রচেষ্টা করে। তবে, প্রতিটি অ্যাপ্লিকেশন তার ব্যবহারকারীদের জন্য বিভিন্ন ঝুঁকি তৈরি করতে পারে। তাই অ্যাপ্লিকেশন মালিক হিসাবে, আপনার ব্যবহারকারীদের এবং আপনার অ্যাপ্লিকেশনের সম্ভাব্য ক্ষতিগুলি সম্পর্কে জানার জন্য এবং আপনার অ্যাপ্লিকেশনটি নিরাপদে এবং দায়িত্বের সাথে LLM ব্যবহার করে তা নিশ্চিত করার জন্য আপনার দায়িত্ব।
এই মূল্যায়নের অংশ হিসেবে, আপনার ক্ষতির সম্ভাবনা বিবেচনা করা উচিত এবং এর গুরুতরতা এবং প্রশমনের পদক্ষেপগুলি নির্ধারণ করা উচিত। উদাহরণস্বরূপ, যে অ্যাপটি তথ্যভিত্তিক প্রবন্ধ তৈরি করে, তাকে বিনোদনের জন্য কাল্পনিক গল্প তৈরি করে এমন অ্যাপের তুলনায় ভুল তথ্য এড়াতে আরও সতর্ক থাকতে হবে। সম্ভাব্য নিরাপত্তা ঝুঁকি অন্বেষণ শুরু করার একটি ভালো উপায় হল আপনার শেষ ব্যবহারকারীদের এবং আপনার অ্যাপ্লিকেশনের ফলাফল দ্বারা প্রভাবিত হতে পারে এমন অন্যদের উপর গবেষণা করা। এটি আপনার অ্যাপ ডোমেইনের অত্যাধুনিক গবেষণা গবেষণা, লোকেরা কীভাবে একই রকম অ্যাপ ব্যবহার করছে তা পর্যবেক্ষণ করা, অথবা ব্যবহারকারী অধ্যয়ন, জরিপ চালানো, অথবা সম্ভাব্য ব্যবহারকারীদের সাথে অনানুষ্ঠানিক সাক্ষাৎকার পরিচালনা করা সহ বিভিন্ন রূপ নিতে পারে।
উন্নত টিপস
- সম্ভাব্য ঝুঁকি সম্পর্কে আরও বিস্তৃত দৃষ্টিভঙ্গি পেতে এবং প্রয়োজন অনুসারে বৈচিত্র্যের মানদণ্ড সামঞ্জস্য করার জন্য আপনার লক্ষ্য জনসংখ্যার মধ্যে সম্ভাব্য ব্যবহারকারীদের বিভিন্ন মিশ্রণের সাথে আপনার আবেদন এবং এর উদ্দেশ্য সম্পর্কে কথা বলুন।
- মার্কিন সরকারের ন্যাশনাল ইনস্টিটিউট অফ স্ট্যান্ডার্ডস অ্যান্ড টেকনোলজি (এনআইএসটি) কর্তৃক প্রকাশিত এআই ঝুঁকি ব্যবস্থাপনা কাঠামো এআই ঝুঁকি ব্যবস্থাপনার জন্য আরও বিস্তারিত নির্দেশিকা এবং অতিরিক্ত শিক্ষার সংস্থান প্রদান করে।
- ভাষা মডেল থেকে ক্ষতির নৈতিক ও সামাজিক ঝুঁকির উপর ডিপমাইন্ডের প্রকাশনাটি ভাষা মডেল প্রয়োগ কীভাবে ক্ষতির কারণ হতে পারে তা বিস্তারিতভাবে বর্ণনা করে।
নিরাপত্তা এবং বাস্তবতার ঝুঁকি কমাতে সমন্বয় বিবেচনা করুন
এখন যেহেতু আপনার ঝুঁকি সম্পর্কে ধারণা আছে, তাই আপনি সিদ্ধান্ত নিতে পারেন কিভাবে সেগুলি কমানো যায়। কোন ঝুঁকিগুলিকে অগ্রাধিকার দেওয়া উচিত এবং সেগুলি প্রতিরোধ করার জন্য আপনার কতটা চেষ্টা করা উচিত তা নির্ধারণ করা একটি গুরুত্বপূর্ণ সিদ্ধান্ত, ঠিক যেমন একটি সফ্টওয়্যার প্রকল্পে বাগগুলি পরীক্ষা করা। একবার আপনি অগ্রাধিকার নির্ধারণ করার পরে, আপনি সবচেয়ে উপযুক্ত ধরণের প্রশমন সম্পর্কে চিন্তাভাবনা শুরু করতে পারেন। প্রায়শই সহজ পরিবর্তনগুলি পার্থক্য আনতে পারে এবং ঝুঁকি হ্রাস করতে পারে।
উদাহরণস্বরূপ, একটি অ্যাপ্লিকেশন ডিজাইন করার সময় বিবেচনা করুন:
- আপনার অ্যাপ্লিকেশনের প্রেক্ষাপটে কী গ্রহণযোগ্য তা আরও ভালোভাবে প্রতিফলিত করার জন্য মডেল আউটপুট টিউন করা । টিউনিং মডেলের আউটপুটকে আরও অনুমানযোগ্য এবং সামঞ্জস্যপূর্ণ করে তুলতে পারে এবং তাই কিছু ঝুঁকি কমাতে সাহায্য করতে পারে।
- নিরাপদ আউটপুট প্রদানের সুবিধা প্রদানকারী একটি ইনপুট পদ্ধতি প্রদান করা। একজন LLM-কে আপনি যে সঠিক ইনপুট প্রদান করেন তা আউটপুটের মানের উপর প্রভাব ফেলতে পারে। আপনার ব্যবহারের ক্ষেত্রে কোনটি সবচেয়ে নিরাপদে কাজ করে তা খুঁজে বের করার জন্য ইনপুট প্রম্পট নিয়ে পরীক্ষা-নিরীক্ষা করা প্রচেষ্টার যোগ্য, কারণ আপনি তখন এমন একটি UX প্রদান করতে পারেন যা এটিকে সহজতর করে। উদাহরণস্বরূপ, আপনি ব্যবহারকারীদের শুধুমাত্র ইনপুট প্রম্পটের ড্রপ-ডাউন তালিকা থেকে বেছে নেওয়ার জন্য সীমাবদ্ধ করতে পারেন, অথবা বর্ণনামূলক বাক্যাংশ সহ পপ-আপ পরামর্শ দিতে পারেন যা আপনি আপনার অ্যাপ্লিকেশন প্রসঙ্গে নিরাপদে কাজ করে বলে মনে করেন।
ব্যবহারকারীকে দেখানোর আগেই অনিরাপদ ইনপুট ব্লক করা এবং আউটপুট ফিল্টার করা। সাধারণ পরিস্থিতিতে, ব্লকলিস্টগুলি প্রম্পট বা প্রতিক্রিয়াগুলিতে অনিরাপদ শব্দ বা বাক্যাংশ সনাক্ত করতে এবং ব্লক করতে ব্যবহার করা যেতে পারে, অথবা মানব পর্যালোচকদের ম্যানুয়ালি এই জাতীয় সামগ্রী পরিবর্তন বা ব্লক করার প্রয়োজন হতে পারে।
প্রতিটি প্রম্পটকে সম্ভাব্য ক্ষতি বা প্রতিকূল সংকেত দিয়ে লেবেল করার জন্য প্রশিক্ষিত শ্রেণিবদ্ধকারী ব্যবহার করা। সনাক্ত করা ক্ষতির ধরণের উপর ভিত্তি করে অনুরোধটি কীভাবে পরিচালনা করা যায় সে সম্পর্কে বিভিন্ন কৌশল ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, যদি ইনপুটটি প্রকাশ্যে প্রতিকূল বা আপত্তিজনক প্রকৃতির হয়, তবে এটি ব্লক করা যেতে পারে এবং পরিবর্তে একটি পূর্ব-স্ক্রিপ্টেড প্রতিক্রিয়া আউটপুট করা যেতে পারে।
উন্নত টিপস
- যদি সংকেতগুলি আউটপুটকে ক্ষতিকারক বলে নির্ধারণ করে, তাহলে অ্যাপ্লিকেশনটি নিম্নলিখিত বিকল্পগুলি ব্যবহার করতে পারে:
- একটি ত্রুটি বার্তা অথবা পূর্ব-স্ক্রিপ্টেড আউটপুট প্রদান করুন।
- যদি বিকল্প নিরাপদ আউটপুট তৈরি হয়, তাহলে আবার প্রম্পটটি চেষ্টা করুন, কারণ কখনও কখনও একই প্রম্পট বিভিন্ন আউটপুট বের করে।
- যদি সংকেতগুলি আউটপুটকে ক্ষতিকারক বলে নির্ধারণ করে, তাহলে অ্যাপ্লিকেশনটি নিম্নলিখিত বিকল্পগুলি ব্যবহার করতে পারে:
ইচ্ছাকৃত অপব্যবহারের বিরুদ্ধে সুরক্ষা ব্যবস্থা গ্রহণ করা, যেমন প্রতিটি ব্যবহারকারীকে একটি অনন্য আইডি বরাদ্দ করা এবং নির্দিষ্ট সময়ের মধ্যে জমা দেওয়া যেতে পারে এমন ব্যবহারকারীর প্রশ্নের পরিমাণের উপর একটি সীমা আরোপ করা। আরেকটি সুরক্ষা ব্যবস্থা হল সম্ভাব্য প্রম্পট ইনজেকশন থেকে রক্ষা করার চেষ্টা করা। প্রম্পট ইনজেকশন, অনেকটা SQL ইনজেকশনের মতো, ক্ষতিকারক ব্যবহারকারীদের জন্য একটি ইনপুট প্রম্পট ডিজাইন করার একটি উপায় যা মডেলের আউটপুটকে ম্যানিপুলেট করে, উদাহরণস্বরূপ, একটি ইনপুট প্রম্পট পাঠিয়ে যা মডেলটিকে পূর্ববর্তী কোনও উদাহরণ উপেক্ষা করার নির্দেশ দেয়। ইচ্ছাকৃত অপব্যবহার সম্পর্কে বিস্তারিত জানার জন্য জেনারেটিভ এআই নিষিদ্ধ ব্যবহারের নীতি দেখুন।
কার্যকারিতা এমন কিছুতে সামঞ্জস্য করা যা সহজাতভাবে কম ঝুঁকিপূর্ণ। যেসব কাজের পরিধি সংকীর্ণ (যেমন, টেক্সটের প্যাসেজ থেকে কীওয়ার্ড বের করা) অথবা যেসব কাজের উপর মানুষের নজরদারি বেশি (যেমন, এমন সংক্ষিপ্ত আকারের বিষয়বস্তু তৈরি করা যা একজন মানুষের দ্বারা পর্যালোচনা করা হবে), সেগুলো প্রায়শই কম ঝুঁকি তৈরি করে। উদাহরণস্বরূপ, শুরু থেকে একটি ইমেল উত্তর লেখার জন্য একটি অ্যাপ্লিকেশন তৈরি করার পরিবর্তে, আপনি এটিকে একটি রূপরেখায় প্রসারিত করার বা বিকল্প বাক্যাংশের পরামর্শ দেওয়ার মধ্যে সীমাবদ্ধ রাখতে পারেন।
ক্ষতিকারক কন্টেন্টের নিরাপত্তা সেটিংস সামঞ্জস্য করা যাতে আপনার প্রতিক্রিয়াগুলি ক্ষতিকারক হতে পারে তা হ্রাস পায়। জেমিনি এপিআই সুরক্ষা সেটিংস প্রদান করে যা আপনি প্রোটোটাইপিং পর্যায়ে সামঞ্জস্য করতে পারেন যাতে আপনার অ্যাপ্লিকেশনটির জন্য কমবেশি সীমাবদ্ধ সুরক্ষা কনফিগারেশন প্রয়োজন কিনা তা নির্ধারণ করা যায়। নির্দিষ্ট ধরণের সামগ্রী সীমাবদ্ধ বা অনুমোদিত করার জন্য আপনি পাঁচটি ফিল্টার বিভাগে এই সেটিংস সামঞ্জস্য করতে পারেন। জেমিনি এপিআই এর মাধ্যমে উপলব্ধ সামঞ্জস্যযোগ্য সুরক্ষা সেটিংস সম্পর্কে জানতে সুরক্ষা সেটিংস নির্দেশিকাটি পড়ুন।
গুগল সার্চের সাথে গ্রাউন্ডিং সক্ষম করে সম্ভাব্য তথ্যগত ভুল বা হ্যালুসিনেশন হ্রাস করুন । মনে রাখবেন, অনেক এআই মডেল পরীক্ষামূলক এবং বাস্তবিকভাবে ভুল তথ্য উপস্থাপন করতে পারে, বিভ্রান্ত করতে পারে, অথবা অন্যথায় সমস্যাযুক্ত আউটপুট তৈরি করতে পারে। গুগল সার্চের সাথে গ্রাউন্ডিং বৈশিষ্ট্যটি জেমিনি মডেলকে রিয়েল-টাইম ওয়েব কন্টেন্টের সাথে সংযুক্ত করে এবং সমস্ত উপলব্ধ ভাষার সাথে কাজ করে। এটি জেমিনিকে আরও সঠিক উত্তর প্রদান করতে এবং মডেল জ্ঞানের সীমাবদ্ধতার বাইরে যাচাইযোগ্য উৎসগুলি উদ্ধৃত করতে দেয়।
আপনার ব্যবহারের ক্ষেত্রে উপযুক্ত নিরাপত্তা পরীক্ষা করুন।
শক্তিশালী এবং নিরাপদ অ্যাপ্লিকেশন তৈরির ক্ষেত্রে পরীক্ষা একটি গুরুত্বপূর্ণ অংশ, তবে পরীক্ষার ব্যাপ্তি, সুযোগ এবং কৌশলগুলি ভিন্ন হবে। উদাহরণস্বরূপ, একটি মজাদার হাইকু জেনারেটর সম্ভবত আইন সংস্থাগুলির দ্বারা আইনি নথির সংক্ষিপ্তসার এবং চুক্তি খসড়া তৈরিতে সহায়তা করার জন্য তৈরি একটি অ্যাপ্লিকেশনের তুলনায় কম গুরুতর ঝুঁকি তৈরি করতে পারে। তবে হাইকু জেনারেটরটি বিভিন্ন ধরণের ব্যবহারকারী দ্বারা ব্যবহৃত হতে পারে যার অর্থ প্রতিকূল প্রচেষ্টা বা এমনকি অনিচ্ছাকৃত ক্ষতিকারক ইনপুটগুলির সম্ভাবনা বেশি হতে পারে। বাস্তবায়নের প্রেক্ষাপটও গুরুত্বপূর্ণ। উদাহরণস্বরূপ, কোনও পদক্ষেপ নেওয়ার আগে মানব বিশেষজ্ঞদের দ্বারা পর্যালোচনা করা আউটপুট সহ একটি অ্যাপ্লিকেশন, এই ধরনের তদারকি ছাড়াই একই অ্যাপ্লিকেশনের তুলনায় ক্ষতিকারক আউটপুট তৈরি করার সম্ভাবনা কম বলে মনে করা যেতে পারে।
তুলনামূলকভাবে কম ঝুঁকিপূর্ণ অ্যাপ্লিকেশনগুলির জন্যও, আপনি যে অ্যাপ্লিকেশনগুলি চালু করার জন্য প্রস্তুত তা আত্মবিশ্বাসী বোধ করার আগে পরিবর্তন এবং পরীক্ষার বেশ কয়েকটি পুনরাবৃত্তির মধ্য দিয়ে যাওয়া অস্বাভাবিক নয়। AI অ্যাপ্লিকেশনগুলির জন্য দুই ধরণের পরীক্ষা বিশেষভাবে কার্যকর:
নিরাপত্তা বেঞ্চমার্কিংয়ের মধ্যে রয়েছে এমন নিরাপত্তা মেট্রিক্স ডিজাইন করা যা আপনার অ্যাপ্লিকেশনটি কীভাবে ব্যবহারের সম্ভাবনার প্রেক্ষাপটে অনিরাপদ হতে পারে তা প্রতিফলিত করে, তারপর মূল্যায়ন ডেটাসেট ব্যবহার করে মেট্রিক্সে আপনার অ্যাপ্লিকেশনটি কতটা ভালো পারফর্ম করে তা পরীক্ষা করে। পরীক্ষার আগে ন্যূনতম গ্রহণযোগ্য নিরাপত্তা মেট্রিক্স সম্পর্কে চিন্তা করা ভালো অভ্যাস যাতে ১) আপনি সেই প্রত্যাশার বিপরীতে পরীক্ষার ফলাফল মূল্যায়ন করতে পারেন এবং ২) আপনি যে মেট্রিক্সগুলির প্রতি সবচেয়ে বেশি যত্নশীল তা মূল্যায়ন করে এমন পরীক্ষাগুলির উপর ভিত্তি করে মূল্যায়ন ডেটাসেট সংগ্রহ করতে পারেন।
উন্নত টিপস
- "অফ দ্য শেল্ফ" পদ্ধতির উপর অতিরিক্ত নির্ভর করা থেকে সাবধান থাকুন কারণ এতে আপনার অ্যাপ্লিকেশনের প্রেক্ষাপটের সাথে সম্পূর্ণরূপে মানানসই মানব রেটার ব্যবহার করে আপনার নিজস্ব টেস্টিং ডেটাসেট তৈরি করতে হতে পারে।
- যদি আপনার একাধিক মেট্রিক থাকে, তাহলে আপনাকে সিদ্ধান্ত নিতে হবে যে যদি কোনও পরিবর্তনের ফলে একটি মেট্রিকের উন্নতি হয় এবং অন্যটির ক্ষতি হয়, তাহলে আপনি কীভাবে লেনদেন করবেন। অন্যান্য পারফরম্যান্স ইঞ্জিনিয়ারিংয়ের মতো, আপনি গড় পারফরম্যান্সের পরিবর্তে আপনার মূল্যায়ন সেট জুড়ে সবচেয়ে খারাপ ক্ষেত্রের পারফরম্যান্সের উপর মনোযোগ দিতে চাইতে পারেন।
প্রতিকূল পরীক্ষার মধ্যে আপনার আবেদন ভাঙার জন্য সক্রিয়ভাবে চেষ্টা করা জড়িত। লক্ষ্য হল দুর্বলতার বিষয়গুলি চিহ্নিত করা যাতে আপনি যথাযথভাবে সেগুলি সমাধানের জন্য পদক্ষেপ নিতে পারেন। প্রতিকূল পরীক্ষার জন্য আপনার আবেদনে বিশেষজ্ঞ মূল্যায়নকারীদের কাছ থেকে উল্লেখযোগ্য সময়/প্রচেষ্টা প্রয়োজন হতে পারে — তবে আপনি যত বেশি করবেন, সমস্যাগুলি সনাক্ত করার সম্ভাবনা তত বেশি হবে, বিশেষ করে যেগুলি খুব কমই ঘটে বা অ্যাপ্লিকেশনটি বারবার চালানোর পরে ঘটে।
- অ্যাডভারসারিয়াল টেস্টিং হল একটি এমএল মডেলকে পদ্ধতিগতভাবে মূল্যায়ন করার একটি পদ্ধতি যার উদ্দেশ্য হল দূষিত বা অসাবধানতাবশত ক্ষতিকারক ইনপুট প্রদান করা হলে এটি কীভাবে আচরণ করে তা শেখা:
- কোনও ইনপুট ক্ষতিকারক হতে পারে যখন ইনপুটটি স্পষ্টভাবে একটি অনিরাপদ বা ক্ষতিকারক আউটপুট তৈরি করার জন্য ডিজাইন করা হয় - উদাহরণস্বরূপ, একটি টেক্সট জেনারেশন মডেলকে একটি নির্দিষ্ট ধর্ম সম্পর্কে ঘৃণ্য ক্ষোভ তৈরি করতে বলা।
- একটি ইনপুট অসাবধানতাবশত ক্ষতিকারক যখন ইনপুট নিজেই নির্দোষ হতে পারে, কিন্তু ক্ষতিকারক ফলাফল তৈরি করে -- উদাহরণস্বরূপ, একটি টেক্সট জেনারেশন মডেলকে একটি নির্দিষ্ট জাতিসত্তার ব্যক্তির বর্ণনা দিতে বলা এবং বর্ণবাদী ফলাফল গ্রহণ করা।
- একটি অ্যাডভারসারিয়াল টেস্টকে একটি স্ট্যান্ডার্ড মূল্যায়ন থেকে আলাদা করার বিষয় হলো পরীক্ষার জন্য ব্যবহৃত ডেটার সংমিশ্রণ। অ্যাডভারসারিয়াল টেস্টের জন্য, এমন পরীক্ষার ডেটা নির্বাচন করুন যা মডেল থেকে সমস্যাযুক্ত আউটপুট বের করার সম্ভাবনা বেশি। এর অর্থ হল মডেলের আচরণের সম্ভাব্য সকল ধরণের ক্ষতির জন্য পরীক্ষা করা, যার মধ্যে বিরল বা অস্বাভাবিক উদাহরণ এবং সুরক্ষা নীতির সাথে প্রাসঙ্গিক এজ-কেস অন্তর্ভুক্ত রয়েছে। এতে বাক্যের গঠন, অর্থ এবং দৈর্ঘ্যের মতো বিভিন্ন মাত্রার বৈচিত্র্যও অন্তর্ভুক্ত করা উচিত। একটি পরীক্ষা ডেটাসেট তৈরি করার সময় কী বিবেচনা করা উচিত সে সম্পর্কে আরও বিশদের জন্য আপনি ন্যায্যতার সাথে Google এর দায়িত্বশীল AI অনুশীলনগুলি দেখতে পারেন।
উন্নত টিপস
- আপনার অ্যাপ্লিকেশনটি ভাঙার চেষ্টা করার জন্য 'লাল দলে' লোকেদের তালিকাভুক্ত করার ঐতিহ্যবাহী পদ্ধতির পরিবর্তে স্বয়ংক্রিয় পরীক্ষা ব্যবহার করুন। স্বয়ংক্রিয় পরীক্ষায়, 'লাল দল' হল আরেকটি ভাষা মডেল যা ইনপুট টেক্সট খুঁজে বের করে যা পরীক্ষিত মডেল থেকে ক্ষতিকারক আউটপুট বের করে।
- অ্যাডভারসারিয়াল টেস্টিং হল একটি এমএল মডেলকে পদ্ধতিগতভাবে মূল্যায়ন করার একটি পদ্ধতি যার উদ্দেশ্য হল দূষিত বা অসাবধানতাবশত ক্ষতিকারক ইনপুট প্রদান করা হলে এটি কীভাবে আচরণ করে তা শেখা:
সমস্যার জন্য নজর রাখুন
আপনি যতই পরীক্ষা করুন এবং প্রশমিত করুন না কেন, আপনি কখনই পরিপূর্ণতার গ্যারান্টি দিতে পারবেন না, তাই উদ্ভূত সমস্যাগুলি কীভাবে চিহ্নিত করবেন এবং মোকাবেলা করবেন তা আগে থেকেই পরিকল্পনা করুন। সাধারণ পদ্ধতির মধ্যে রয়েছে ব্যবহারকারীদের প্রতিক্রিয়া ভাগ করে নেওয়ার জন্য একটি পর্যবেক্ষণ চ্যানেল স্থাপন করা (যেমন, থাম্বস আপ/ডাউন রেটিং) এবং বিভিন্ন ব্যবহারকারীর কাছ থেকে সক্রিয়ভাবে প্রতিক্রিয়া জানাতে একটি ব্যবহারকারী গবেষণা চালানো - বিশেষ করে যদি ব্যবহারের ধরণগুলি প্রত্যাশার চেয়ে আলাদা হয় তবে এটি মূল্যবান।
উন্নত টিপস
- ব্যবহারকারীরা যখন AI পণ্যগুলিতে প্রতিক্রিয়া জানান, তখন এটি সময়ের সাথে সাথে AI কর্মক্ষমতা এবং ব্যবহারকারীর অভিজ্ঞতাকে ব্যাপকভাবে উন্নত করতে পারে, উদাহরণস্বরূপ, আপনাকে দ্রুত টিউনিংয়ের জন্য আরও ভাল উদাহরণ বেছে নিতে সাহায্য করে। Google এর People and AI গাইডবুকের Feedback and Control অধ্যায়ে Feedback mechanisms ডিজাইন করার সময় বিবেচনা করার জন্য গুরুত্বপূর্ণ বিবেচ্য বিষয়গুলি তুলে ধরা হয়েছে।
পরবর্তী পদক্ষেপ
- জেমিনি এপিআই-এর মাধ্যমে উপলব্ধ সামঞ্জস্যযোগ্য সুরক্ষা সেটিংস সম্পর্কে জানতে সুরক্ষা সেটিংস নির্দেশিকাটি পড়ুন।
- আপনার প্রথম প্রম্পট লেখা শুরু করার জন্য প্রম্পটিংয়ের ভূমিকা দেখুন।