Gemini और अन्य जनरेटिव एआई मॉडल, इनपुट और आउटपुट को बारीकी से प्रोसेस करते हैं टोकन कहते हैं.
यह गाइड बताती है कि अलग-अलग मॉडल की कॉन्टेक्स्ट विंडो के साथ-साथ, टेक्स्ट इनपुट, चैट, और मल्टीमोडल जैसे इस्तेमाल के उदाहरणों के लिए, काउंट टोकन और सिस्टम के लिए निर्देश, और टूल हैं.
टोकन के बारे में जानकारी
टोकन, एक वर्ण हो सकते हैं, जैसे कि z या पूरे शब्द, जैसे कि cat. लंबे शब्द
उन्हें कई टोकन में बांटा जाता है. मॉडल में इस्तेमाल किए गए सभी टोकन का सेट है
जिसे शब्दावली कहते हैं और टेक्स्ट को टोकन में विभाजित करने की प्रक्रिया
टोकनाइज़ेशन के दायरे में आता है.
Gemini मॉडल के लिए, एक टोकन, करीब चार वर्णों के बराबर होता है. 100 टोकन, करीब 60 से 80 अंग्रेज़ी शब्दों के बराबर होते हैं.
बिलिंग की सुविधा चालू होने पर, Gemini API को कॉल करने का शुल्क कितना होगा इनपुट और आउटपुट टोकन की संख्या के हिसाब से तय होता है. इसलिए, यह जानना ज़रूरी है कि की संख्या से जुड़े टोकन मददगार साबित हो सकते हैं.