Gemini और अन्य जनरेटिव एआई मॉडल, इनपुट और आउटपुट को ज़्यादा बारीक तरीके से प्रोसेस करते हैं. इसे टोकन कहा जाता है.
इस गाइड में, खास मॉडल की कॉन्टेक्स्ट विंडो पाने का तरीका बताया गया है. साथ ही, टेक्स्ट इनपुट, चैट, मल्टीमोडल इनपुट, और सिस्टम के निर्देशों और टूल जैसे इस्तेमाल के उदाहरणों के लिए, टोकन की गिनती करने का तरीका भी बताया गया है.
टोकन के बारे में जानकारी
टोकन, z जैसे एक वर्ण या cat जैसे पूरे शब्द हो सकते हैं. लंबे शब्दों को
कई टोकन में बांटा जाता है. मॉडल में इस्तेमाल किए गए सभी टोकन के सेट को शब्दावली कहा जाता है. साथ ही, टेक्स्ट को टोकन में बांटने की प्रोसेस को टोकनाइज़ेशन कहा जाता है.
Gemini मॉडल के लिए, एक टोकन चार वर्णों के बराबर होता है. 100 टोकन, अंग्रेज़ी के करीब 60 से 80 शब्दों के बराबर होते हैं.
बिलिंग की सुविधा चालू होने पर, Gemini API को कॉल करने की लागत इनपुट और आउटपुट टोकन की संख्या के हिसाब से तय की जाती है. इसलिए, टोकन की गिनती करने का तरीका जानना मददगार हो सकता है.