Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang
Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Gemini và các mô hình AI tạo sinh khác xử lý dữ liệu đầu vào và đầu ra ở mức độ chi tiết
có tên là mã thông báo.
Hướng dẫn này giải thích cách nhận
cửa sổ ngữ cảnh của các mô hình cụ thể, cũng như cách
đếm mã thông báo cho các trường hợp sử dụng như nhập văn bản, trò chuyện, đa phương thức
phương thức nhập, lệnh và công cụ của hệ thống.
Giới thiệu về mã thông báo
Mã thông báo có thể là các ký tự đơn như z hoặc toàn bộ các từ như cat. Từ dài
đều được chia thành nhiều mã thông báo. Tập hợp tất cả các mã thông báo mà mô hình sử dụng là
có tên là từ vựng và quá trình tách văn bản thành các mã thông báo được gọi là
mã thông báo.
Đối với các mô hình Gemini, một mã thông báo tương đương với khoảng 4 ký tự.
100 token bằng khoảng 60-80 từ tiếng Anh.
Khi bật tính năng thanh toán, chi phí của cuộc gọi đến Gemini API là
được xác định một phần theo số lượng mã thông báo đầu vào và đầu ra, vì vậy, nếu biết cách
mã đếm số có thể hữu ích.