Gemini और अन्य जनरेटिव एआई मॉडल, इनपुट और आउटपुट को ज़्यादा बारीक तरीके से प्रोसेस करते हैं. इसे टोकन कहा जाता है.
टोकन के बारे में जानकारी
टोकन, z जैसे एक वर्ण या cat जैसे पूरे शब्द हो सकते हैं. लंबे शब्दों को कई टोकन में बांटा जाता है. मॉडल में इस्तेमाल किए गए सभी टोकन के सेट को वॉकेबलरी कहा जाता है. साथ ही, टेक्स्ट को टोकन में बांटने की प्रोसेस को टोकनाइज़ेशन कहा जाता है.
Gemini मॉडल के लिए, एक टोकन चार वर्णों के बराबर होता है. 100 टोकन, अंग्रेज़ी के करीब 60 से 80 शब्दों के बराबर होते हैं.
बिलिंग की सुविधा चालू होने पर, Gemini API को कॉल करने की लागत, इनपुट और आउटपुट टोकन की संख्या के हिसाब से तय होती है. इसलिए, टोकन की गिनती करने का तरीका जानना मददगार हो सकता है.