Các công cụ mở rộng khả năng của các mô hình Gemini, cho phép các mô hình này hành động trong thế giới thực, truy cập thông tin theo thời gian thực và thực hiện các tác vụ tính toán phức tạp. Các mô hình có thể sử dụng các công cụ trong cả hoạt động tương tác yêu cầu-phản hồi tiêu chuẩn và phiên phát trực tuyến theo thời gian thực bằng Live API.
Công cụ là những chức năng cụ thể (chẳng hạn như Google Tìm kiếm hoặc Thực thi mã) mà một mô hình có thể sử dụng để trả lời các câu hỏi. Gemini API cung cấp một bộ công cụ tích hợp, được quản lý hoàn toàn hoặc bạn có thể xác định các công cụ tuỳ chỉnh bằng cách sử dụng tính năng Gọi hàm.
Để xây dựng các hệ thống nhiều bước, hướng đến mục tiêu, hãy xem phần Tổng quan về các tác nhân.
Các công cụ tích hợp sẵn có thể sử dụng
| Công cụ | Mô tả | Trường hợp sử dụng |
|---|---|---|
| Google Tìm kiếm | Cung cấp câu trả lời dựa trên các sự kiện và thông tin thực tế hiện tại trên web để giảm tình trạng ảo tưởng. | Trả lời các câu hỏi về sự kiện gần đây, xác minh thông tin thực tế bằng nhiều nguồn. |
| Google Maps | Xây dựng trợ lý nhận biết vị trí có thể tìm địa điểm, chỉ đường và cung cấp bối cảnh địa phương phong phú. | Lập kế hoạch cho hành trình du lịch có nhiều điểm dừng, tìm các doanh nghiệp địa phương dựa trên tiêu chí của người dùng. |
| Thực thi mã | Cho phép mô hình viết và chạy mã Python để giải các bài toán hoặc xử lý dữ liệu một cách chính xác. | Giải các phương trình toán học phức tạp, xử lý và phân tích dữ liệu văn bản một cách chính xác. |
| Bối cảnh URL | Chỉ dẫn cho mô hình đọc và phân tích nội dung từ các trang web hoặc tài liệu cụ thể. | Trả lời câu hỏi dựa trên các URL hoặc tài liệu cụ thể, truy xuất thông tin trên nhiều trang web. |
| Sử dụng máy tính (Bản xem trước) | Cho phép Gemini xem màn hình và tạo các thao tác để tương tác với giao diện người dùng của trình duyệt web (Thực thi phía máy khách). | Tự động hoá các quy trình lặp đi lặp lại dựa trên web, kiểm thử giao diện người dùng của ứng dụng web. |
| Tìm kiếm tệp | Lập chỉ mục và tìm kiếm tài liệu của riêng bạn để bật tính năng Tạo sinh tăng cường truy xuất (RAG). | Tìm kiếm hướng dẫn kỹ thuật, trả lời câu hỏi về dữ liệu độc quyền. |
Hãy xem trang Định giá để biết thông tin chi tiết về chi phí liên quan đến các công cụ cụ thể.
Cách thực thi công cụ
Các công cụ cho phép mô hình yêu cầu hành động trong cuộc trò chuyện. Quy trình này sẽ khác nhau tuỳ thuộc vào việc công cụ này là công cụ tích hợp (do Google quản lý) hay công cụ tuỳ chỉnh (do bạn quản lý).
Luồng công cụ tích hợp sẵn
Đối với các công cụ tích hợp (Google Tìm kiếm, Google Maps, Bối cảnh từ URL, Tìm kiếm tệp, Thực thi mã), toàn bộ quy trình diễn ra trong một lệnh gọi API:
- Bạn gửi một câu lệnh: "Căn bậc hai của giá cổ phiếu mới nhất của GOOG là bao nhiêu?"
- Gemini quyết định cần dùng các công cụ và thực thi các công cụ đó trên máy chủ của Google (ví dụ: tìm kiếm giá cổ phiếu, sau đó chạy mã Python để tính căn bậc hai).
- Gemini trả về câu trả lời cuối cùng dựa trên kết quả của công cụ.
Luồng công cụ tuỳ chỉnh (Gọi hàm)
Đối với các công cụ tuỳ chỉnh và việc sử dụng máy tính, ứng dụng của bạn sẽ xử lý việc thực thi:
- Bạn gửi một câu lệnh cùng với các khai báo hàm (công cụ).
- Gemini có thể gửi lại JSON có cấu trúc để gọi một hàm cụ thể (ví dụ:
{"name": "get_order_status", "args": {"order_id": "123"}}), luôn có mộtidduy nhất. - Bạn thực thi hàm trong ứng dụng hoặc môi trường của mình.
- Bạn gửi kết quả của hàm, với cùng
idnhư lệnh gọi hàm, trở lại Gemini. - Gemini sử dụng kết quả để tạo câu trả lời cuối cùng hoặc một lệnh gọi công cụ khác.
Tìm hiểu thêm trong Hướng dẫn gọi hàm.
Kết hợp quy trình sử dụng các công cụ tích hợp sẵn và công cụ tuỳ chỉnh
Đối với các yêu cầu kết hợp công cụ tích hợp và công cụ tuỳ chỉnh (lệnh gọi hàm), mô hình sẽ sử dụng vòng tuần hoàn ngữ cảnh công cụ để điều phối việc thực thi trên nhiều môi trường:
- Bạn gửi một câu lệnh và khai báo các công cụ tích hợp sẵn cũng như các hàm tuỳ chỉnh mà bạn muốn bật, đặt một cờ để bật tính năng hỗ trợ kết hợp.
- Gemini thực thi các công cụ tích hợp và nhường quyền cho người dùng nếu có bất kỳ lệnh gọi hàm phía máy khách nào được tạo (lệnh gọi nào thực thi trước sẽ phụ thuộc vào câu lệnh và những gì mô hình quyết định). Thao tác này sẽ gửi lại một phản hồi có:
- Xác nhận lệnh gọi công cụ
- Kết quả của phản hồi công cụ (phản hồi này có thể xuất hiện sau JSON nếu mô hình tạo ra 2 lệnh gọi hàm song song)
- JSON có cấu trúc để gọi hàm
- Chữ ký ý tưởng được mã hoá để giữ lại bối cảnh
- Bạn thực thi hàm trong ứng dụng hoặc môi trường của mình.
- Bạn trả về tất cả các phần trong câu trả lời của Gemini, cộng với kết quả của lệnh gọi hàm.
- Gemini tạo câu trả lời cuối cùng bằng cách sử dụng tất cả ngữ cảnh kết hợp.
Đọc Hướng dẫn kết hợp công cụ để tìm hiểu cách bật tính năng hỗ trợ kết hợp công cụ tuỳ chỉnh và công cụ tích hợp sẵn, cũng như các ví dụ về việc lưu chuyển ngữ cảnh.
Đầu ra có cấu trúc so với gọi hàm
Gemini cung cấp 2 phương thức để tạo đầu ra có cấu trúc. Sử dụng Gọi hàm khi mô hình cần thực hiện một bước trung gian bằng cách kết nối với các công cụ hoặc hệ thống dữ liệu của riêng bạn. Sử dụng Đầu ra có cấu trúc khi bạn thực sự cần câu trả lời cuối cùng của mô hình tuân thủ một lược đồ cụ thể, chẳng hạn như để hiển thị một giao diện người dùng tuỳ chỉnh.
Đầu ra có cấu trúc bằng các công cụ
Bạn có thể kết hợp Đầu ra có cấu trúc với các công cụ tích hợp để đảm bảo rằng các câu trả lời của mô hình dựa trên dữ liệu hoặc phép tính bên ngoài vẫn tuân thủ một lược đồ nghiêm ngặt.
Hãy xem phần Đầu ra có cấu trúc bằng các công cụ để biết các ví dụ về mã.