PaliGemma প্রম্পট এবং সিস্টেম নির্দেশাবলী

এই পৃষ্ঠাটি PaliGemma মডেলের জন্য প্রম্পট ফরম্যাটিং এবং সিস্টেম নির্দেশাবলী বর্ণনা করে। এই জেমা মডেলের রূপগুলি জেমা ফাউন্ডেশন মডেলগুলির মতো একই সাধারণ বিন্যাস ব্যবহার করে এবং নির্দিষ্ট চিত্র-সম্পর্কিত কাজের জন্য একটি বিশেষ সিনট্যাক্স সমর্থন করে।

প্রম্পট বিন্যাস

PaliGemma মডেলগুলি Gemma ফাউন্ডেশন মডেলগুলির মতো একই প্রম্পট ফর্ম্যাটিং ব্যবহার করে যেগুলির উপর ভিত্তি করে। যাইহোক, PaliGemma মডেলগুলি একটি বিশেষ টাস্ক সিনট্যাক্সকেও সমর্থন করে, যা পরবর্তী বিভাগে বর্ণিত হয়েছে। জেমা প্রম্পট ফরম্যাটিং সম্পর্কে আরও তথ্যের জন্য, জেমা প্রম্পট এবং সিস্টেম নির্দেশাবলী দেখুন।

ইমেজ এবং টেক্সট ডেটা অর্ডার

টেক্সট এবং ইমেজ ডেটা সহ PaliGemma মডেলগুলিকে প্রম্পট করার সময়, ইমেজ ডেটা সর্বদা প্রথমে প্রদান করতে হবে, এবং তারপরে টেক্সট প্রম্পটিং ডেটা তার পরে। ইমেজ এবং টেক্সট প্রম্পট ডেটার ক্রম বিপরীত করা, বা ইমেজ এবং টেক্সট ডেটা মিশ্রিত করা সাধারণত অব্যবহারযোগ্য প্রতিক্রিয়া তৈরি করবে।

প্রম্পট টাস্ক সিনট্যাক্স

PaliGemma মডেলগুলিকে নির্দিষ্ট প্রম্পট প্যাটার্ন এবং সিনট্যাক্সের সাথে প্রশিক্ষিত করা হয় যেমন বস্তু সনাক্তকরণ এবং চিত্র ক্যাপশনিং এর মতো কাজের জন্য। আপনি PaliGemma মডেলগুলি থেকে নির্দিষ্ট আচরণের অনুরোধ করতে এই প্রম্পট টাস্ক সিনট্যাক্স ব্যবহার করতে পারেন, নিম্নরূপ:

• "cap {lang}\n" : খুব কাঁচা ছোট ক্যাপশন (WebLI-alt থেকে)
• "caption {lang}\n" : চমৎকার, COCO-এর মতো ছোট ক্যাপশন
• "describe {lang}\n" : কিছুটা দীর্ঘ, আরও বর্ণনামূলক ক্যাপশন
• "ocr" : অপটিক্যাল অক্ষর স্বীকৃতি
• "answer {lang} {question}\n" : ছবির বিষয়বস্তু সম্পর্কে প্রশ্নের উত্তর
• "question {lang} {answer}\n" : একটি প্রদত্ত উত্তরের জন্য প্রশ্ন তৈরি
• "detect {object} ; {object}\n" : একটি ছবিতে তালিকাভুক্ত অবজেক্টগুলি সনাক্ত করুন এবং সেই বস্তুগুলির জন্য বাউন্ডিং বক্সগুলি ফেরত দিন
• "segment {object}\n" : সেই বস্তুর জন্য একটি ইমেজ সেগমেন্টেশন তৈরি করতে একটি ছবিতে অবজেক্টের দ্বারা দখলকৃত এলাকাটি সনাক্ত করুন

ভাষা কোডের জন্য {lang} বিকল্পগুলি। PaliGemma এই বিকল্পের সাথে টাস্ক প্রম্পটের জন্য 34টি ভিন্ন ভাষার জন্য ভাষা স্বীকৃতি সমর্থন করে। আপনি GitHub- এ সমর্থিত ভাষার তালিকা খুঁজে পেতে পারেন।

এই সিনট্যাক্সটি কীভাবে ব্যবহার করবেন তা দেখানো একটি বিশদ কোড উদাহরণের জন্য, কেরাস টিউটোরিয়াল সহ পালিগেমা আউটপুট তৈরি করুন ।

ব্যাচড প্রম্পট কমান্ড

আপনি নির্দেশাবলীর একটি ব্যাচ হিসাবে একটি একক প্রম্পটের মধ্যে একাধিক প্রম্পট কমান্ড প্রদান করতে পারেন। প্রতিটি প্রম্পট কমান্ড একটি \n অক্ষর দিয়ে শেষ হওয়া আবশ্যক। নিম্নলিখিত উদাহরণ দেখায় কিভাবে একাধিক নির্দেশাবলী প্রদান করার জন্য আপনার প্রম্পট টেক্সট গঠন করতে হয়।

prompts = [
    'answer en where is the cow standing?\n',
    'answer en what color is the cow?\n',
    'describe en\n',
    'detect cow\n',
    'segment cow\n',
]
images = [cow_image, cow_image, cow_image, cow_image, cow_image]
outputs = paligemma.generate(
    inputs={
        "images": images,
        "prompts": prompts,
    }
)
for output in outputs:
    print(output)

সিস্টেম নির্দেশাবলী

PaliGemma মডেলগুলি তাদের উপর ভিত্তি করে তৈরি করা ফাউন্ডেশন মডেল থেকে Gemma সিস্টেম নির্দেশাবলীর বাইরে কোনো অতিরিক্ত সিস্টেম নির্দেশাবলী সমর্থন করে না।