মিথুন এবং অন্যান্য জেনারেটিভ এআই মডেলগুলি টোকেন নামক গ্রানুলিটিতে ইনপুট এবং আউটপুট প্রক্রিয়া করে।
টোকেন সম্পর্কে
টোকেন z মত একক অক্ষর বা cat মত পুরো শব্দ হতে পারে। দীর্ঘ শব্দগুলিকে কয়েকটি টোকেনে বিভক্ত করা হয়েছে। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভাণ্ডার বলা হয় এবং টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়াটিকে টোকেনাইজেশন বলা হয়।
মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 টোকেন প্রায় 60-80 ইংরেজি শব্দের সমান।
যখন বিলিং সক্ষম করা হয়, তখন Gemini API-তে কলের খরচ আংশিকভাবে ইনপুট এবং আউটপুট টোকেনের সংখ্যা দ্বারা নির্ধারিত হয়, তাই টোকেনগুলি কীভাবে গণনা করতে হয় তা জানা সহায়ক হতে পারে।
,মিথুন এবং অন্যান্য জেনারেটর এআই মডেলগুলি একটি টোকেন নামক একটি গ্রানুলারিটিতে ইনপুট এবং আউটপুট প্রক্রিয়া করে।
টোকেন সম্পর্কে
টোকেনগুলি z মতো একক অক্ষর বা cat মতো পুরো শব্দ হতে পারে। দীর্ঘ শব্দগুলি বেশ কয়েকটি টোকনে বিভক্ত হয়। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভাণ্ডার বলা হয় এবং টোকেনগুলিতে পাঠ্য বিভক্ত করার প্রক্রিয়াটিকে টোকেনাইজেশন বলা হয়।
মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 টোকেন প্রায় 60-80 ইংরেজি শব্দের সমান।
যখন বিলিং সক্ষম করা হয়, তখন জেমিনি এপিআই -তে কলের ব্যয়টি ইনপুট এবং আউটপুট টোকেনের সংখ্যা দ্বারা অংশে নির্ধারিত হয়, সুতরাং টোকেনগুলি কীভাবে গণনা করা যায় তা জেনে রাখা সহায়ক হতে পারে।
,Gemini and other generative AI models process input and output at a granularity called a token .
টোকেন সম্পর্কে
Tokens can be single characters like z or whole words like cat . Long words are broken up into several tokens. The set of all tokens used by the model is called the vocabulary, and the process of splitting text into tokens is called tokenization .
মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 tokens is equal to about 60-80 English words.
When billing is enabled, the cost of a call to the Gemini API is determined in part by the number of input and output tokens, so knowing how to count tokens can be helpful.