মিথুন এবং অন্যান্য জেনারেটিভ এআই মডেলগুলি টোকেন নামক গ্রানুলিটিতে ইনপুট এবং আউটপুট প্রক্রিয়া করে।
এই নির্দেশিকাটি ব্যাখ্যা করে যে কীভাবে নির্দিষ্ট মডেলের প্রসঙ্গ উইন্ডোগুলি পেতে হয়, সেইসাথে টেক্সট ইনপুট, চ্যাট, মাল্টিমোডাল ইনপুট এবং সিস্টেম নির্দেশাবলী এবং সরঞ্জামগুলির মতো ব্যবহারের ক্ষেত্রে টোকেনগুলি কীভাবে গণনা করা যায়৷
টোকেন সম্পর্কে
টোকেন z এর মত একক অক্ষর বা cat মত পুরো শব্দ হতে পারে। দীর্ঘ শব্দগুলিকে কয়েকটি টোকেনে বিভক্ত করা হয়েছে। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভাণ্ডার বলা হয় এবং টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়াটিকে টোকেনাইজেশন বলা হয়।
মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 টোকেন প্রায় 60-80 ইংরেজি শব্দের সমান।
যখন বিলিং সক্ষম করা হয়, তখন Gemini API-তে কলের খরচ আংশিকভাবে ইনপুট এবং আউটপুট টোকেনের সংখ্যা দ্বারা নির্ধারিত হয়, তাই টোকেনগুলি কীভাবে গণনা করতে হয় তা জানা সহায়ক হতে পারে।