Các công cụ mở rộng khả năng của mô hình Gemini, cho phép mô hình thực hiện hành động trong thế giới thực, truy cập thông tin theo thời gian thực và thực hiện các tác vụ tính toán phức tạp. Mô hình có thể sử dụng các công cụ trong cả hoạt động tương tác yêu cầu-phản hồi tiêu chuẩn và phiên truyền trực tuyến theo thời gian thực bằng Live API.
Các công cụ là những khả năng cụ thể (như Google Tìm kiếm hoặc Thực thi mã) mà mô hình có thể sử dụng để trả lời truy vấn. Gemini API cung cấp một bộ công cụ tích hợp sẵn, được quản lý toàn phần hoặc bạn có thể xác định các công cụ tuỳ chỉnh bằng cách sử dụng tính năng Gọi hàm.
Để xây dựng hệ thống nhiều bước, hướng đến mục tiêu, hãy xem bài viết Tổng quan về tác nhân.
Các công cụ tích hợp sẵn hiện có
| Công cụ | Mô tả | Trường hợp sử dụng |
|---|---|---|
| Google Tìm kiếm | Neo bám câu trả lời vào các sự kiện và thông tin thực tế hiện tại trên web để giảm hiện tượng ảo giác. | Trả lời câu hỏi về các sự kiện gần đây, xác minh thông tin thực tế bằng nhiều nguồn. |
| Google Maps | Xây dựng trợ lý nhận biết vị trí, có thể tìm địa điểm, chỉ đường và cung cấp thông tin hữu ích về bối cảnh địa phương. | Lập kế hoạch hành trình du lịch với nhiều điểm dừng, tìm doanh nghiệp địa phương dựa trên tiêu chí của người dùng. |
| Thực thi mã | Cho phép mô hình viết và chạy mã Python để giải các bài toán hoặc xử lý dữ liệu một cách chính xác. | Giải các phương trình toán học phức tạp, xử lý và phân tích dữ liệu văn bản một cách chính xác. |
| Bối cảnh URL | Hướng dẫn mô hình đọc và phân tích nội dung từ các trang web hoặc tài liệu cụ thể. | Trả lời câu hỏi dựa trên các URL hoặc tài liệu cụ thể, truy xuất thông tin trên nhiều trang web. |
| Sử dụng máy tính (Bản dùng thử) | Cho phép Gemini xem màn hình và tạo hành động để tương tác với giao diện người dùng của trình duyệt web (Thực thi phía máy khách). | Tự động hoá các quy trình làm việc lặp đi lặp lại dựa trên nền tảng web, kiểm thử giao diện người dùng của ứng dụng web. |
| Tìm kiếm tệp | Lập chỉ mục và tìm kiếm tài liệu của riêng bạn để bật tính năng Tạo sinh tăng cường truy xuất (RAG). | Tìm kiếm hướng dẫn kỹ thuật, trả lời câu hỏi dựa trên dữ liệu độc quyền. |
Xem trang Giá để biết thông tin chi tiết về chi phí liên quan đến các công cụ cụ thể.
Cách thực thi công cụ
Các công cụ cho phép mô hình yêu cầu hành động trong cuộc trò chuyện. Quy trình này khác nhau tuỳ thuộc vào việc công cụ đó là công cụ tích hợp sẵn (do Google quản lý) hay công cụ tuỳ chỉnh (do bạn quản lý).
Quy trình công cụ tích hợp sẵn
Đối với các công cụ tích hợp sẵn (Google Tìm kiếm, Google Maps, Bối cảnh URL, Tìm kiếm tệp, Thực thi mã), toàn bộ quy trình diễn ra trong một lệnh gọi API:
- Bạn gửi câu lệnh: "Căn bậc hai của giá cổ phiếu mới nhất của GOOG là bao nhiêu?"
- Gemini quyết định cần các công cụ và thực thi các công cụ đó trên máy chủ của Google (ví dụ: tìm kiếm giá cổ phiếu, sau đó chạy mã Python để tính căn bậc hai).
- Gemini gửi lại câu trả lời cuối cùng dựa trên kết quả của công cụ.
Quy trình công cụ tuỳ chỉnh (Gọi hàm)
Đối với các công cụ tuỳ chỉnh và tính năng Sử dụng máy tính, ứng dụng của bạn sẽ xử lý quá trình thực thi:
- Bạn gửi câu lệnh cùng với các khai báo hàm (công cụ).
- Gemini có thể gửi lại JSON có cấu trúc để gọi một hàm cụ thể
(ví dụ:
{"name": "get_order_status", "args": {"order_id": "123"}}), luôn có mộtidduy nhất. - Bạn thực thi hàm trong ứng dụng hoặc môi trường của mình.
- Bạn gửi kết quả của hàm, với cùng
idnhư lệnh gọi hàm, trở lại Gemini. - Gemini sử dụng kết quả để tạo câu trả lời cuối cùng hoặc một lệnh gọi công cụ khác.
Tìm hiểu thêm trong hướng dẫn Gọi hàm.
Kết hợp quy trình công cụ tích hợp sẵn và công cụ tuỳ chỉnh
Đối với các yêu cầu kết hợp công cụ tích hợp sẵn và công cụ tuỳ chỉnh (lệnh gọi hàm), mô hình sẽ sử dụng tính năng lưu thông bối cảnh công cụ để điều phối quá trình thực thi trên nhiều môi trường:
- Bạn gửi câu lệnh và khai báo các công cụ tích hợp sẵn cũng như các hàm tuỳ chỉnh mà bạn muốn bật, đặt cờ để bật tính năng hỗ trợ kết hợp.
- Gemini thực thi các công cụ tích hợp sẵn và nhường quyền cho người dùng nếu có bất kỳ lệnh gọi hàm phía máy khách nào được tạo (lệnh gọi nào thực thi trước sẽ tuỳ thuộc vào câu lệnh và những gì mô hình quyết định). Mô hình sẽ gửi lại một câu trả lời với:
- Xác nhận lệnh gọi công cụ
- Kết quả của phản hồi công cụ (kết quả này có thể xuất hiện sau JSON nếu mô hình tạo ra 2 lệnh gọi hàm song song)
- JSON có cấu trúc để gọi hàm
- Chữ ký ý tưởng được mã hoá để giữ nguyên bối cảnh
- Bạn thực thi hàm trong ứng dụng hoặc môi trường của mình.
- Bạn trả về tất cả các phần của câu trả lời của Gemini, cộng với kết quả lệnh gọi hàm.
- Gemini tạo câu trả lời cuối cùng bằng cách sử dụng tất cả bối cảnh kết hợp.
Đọc hướng dẫn Kết hợp công cụ để tìm hiểu cách bật tính năng hỗ trợ kết hợp công cụ tích hợp sẵn và công cụ tuỳ chỉnh cũng như các ví dụ về lưu thông bối cảnh.
Đầu ra có cấu trúc so với gọi hàm
Gemini cung cấp 2 phương thức để tạo đầu ra có cấu trúc. Sử dụng tính năng Gọi hàm khi mô hình cần thực hiện bước trung gian bằng cách kết nối với các công cụ hoặc hệ thống dữ liệu của riêng bạn. Sử dụng Đầu ra có cấu trúc khi bạn cần câu trả lời cuối cùng của mô hình tuân thủ một giản đồ cụ thể, chẳng hạn như để kết xuất giao diện người dùng tuỳ chỉnh.
Đầu ra có cấu trúc bằng công cụ
Bạn có thể kết hợp Đầu ra có cấu trúc với các công cụ tích hợp sẵn để đảm bảo rằng các câu trả lời của mô hình dựa trên dữ liệu hoặc tính toán bên ngoài vẫn tuân thủ một giản đồ nghiêm ngặt.
Xem bài viết Đầu ra có cấu trúc bằng công cụ để biết các đoạn mã ví dụ.