Gemini và các mô hình AI tạo sinh khác xử lý dữ liệu đầu vào và đầu ra ở mức độ chi tiết có tên là mã thông báo.
Hướng dẫn này giải thích cách lấy cửa sổ ngữ cảnh của các mô hình cụ thể, cũng như cách đếm mã thông báo cho các trường hợp sử dụng như nhập văn bản, trò chuyện, nhập bằng nhiều phương thức, cũng như hướng dẫn và công cụ của hệ thống.
Giới thiệu về mã thông báo
Mã thông báo có thể là các ký tự đơn như z hoặc toàn bộ các từ như cat. Các từ dài được chia thành nhiều mã thông báo. Tập hợp tất cả các mã thông báo mà mô hình sử dụng được gọi là từ vựng và quá trình chia văn bản thành các mã thông báo được gọi là tạo mã thông báo.
Đối với các mô hình Gemini, một mã thông báo tương đương với khoảng 4 ký tự. 100 mã thông báo tương đương với khoảng 60-80 từ tiếng Anh.
Khi bật tính năng thanh toán, chi phí của một lệnh gọi đến Gemini API sẽ được xác định một phần theo số lượng mã thông báo đầu vào và đầu ra. Vì vậy, bạn nên biết cách tính mã thông báo.