Alat memperluas kemampuan model Gemini, sehingga memungkinkannya mengambil tindakan di dunia, mengakses informasi real-time, dan melakukan tugas komputasi yang kompleks. Model dapat menggunakan alat dalam interaksi permintaan-respons standar dan sesi streaming real-time menggunakan Live API.
Alat adalah kemampuan spesifik (seperti Google Penelusuran atau Eksekusi Kode) yang dapat digunakan model untuk menjawab kueri. Gemini API menyediakan serangkaian alat bawaan yang dikelola sepenuhnya, atau Anda dapat menentukan alat kustom menggunakan Panggilan Fungsi.
Untuk membangun sistem multi-langkah yang berorientasi pada sasaran, lihat Ringkasan Agen.
Alat bawaan yang tersedia
| Alat | Deskripsi | Kasus Penggunaan |
|---|---|---|
| Google Penelusuran | Grounding respons pada peristiwa terkini dan fakta dari web untuk mengurangi halusinasi. | Menjawab pertanyaan tentang peristiwa terkini, memverifikasi fakta dengan berbagai sumber. |
| Google Maps | Bangun asisten yang mampu menentukan lokasi yang dapat menemukan tempat, mendapatkan rute, dan memberikan konteks lokal yang lengkap. | Merencanakan itinerari perjalanan dengan beberapa perhentian, menemukan bisnis lokal berdasarkan kriteria pengguna. |
| Eksekusi Kode | Izinkan model menulis dan menjalankan kode Python untuk menyelesaikan soal matematika atau memproses data secara akurat. | Memecahkan persamaan matematika yang rumit, memproses dan menganalisis data teks secara akurat. |
| Konteks URL | Mengarahkan model untuk membaca dan menganalisis konten dari halaman web atau dokumen tertentu. | Menjawab pertanyaan berdasarkan URL atau dokumen tertentu, mengambil informasi di berbagai halaman web. |
| Penggunaan Komputer (Pratinjau) | Mengaktifkan Gemini untuk melihat layar dan menghasilkan tindakan untuk berinteraksi dengan UI browser web (Eksekusi sisi klien). | Mengotomatiskan alur kerja berbasis web yang berulang, menguji antarmuka pengguna aplikasi web. |
| Penelusuran File | Mengindeks dan menelusuri dokumen Anda sendiri untuk mengaktifkan Retrieval Augmented Generation (RAG). | Menelusuri manual teknis, menjawab pertanyaan terkait data eksklusif. |
Lihat halaman Harga untuk mengetahui detail biaya yang terkait dengan alat tertentu.
Cara kerja eksekusi alat
Alat memungkinkan model meminta tindakan selama percakapan. Alurnya berbeda-beda, bergantung pada apakah alat tersebut bawaan (dikelola oleh Google) atau kustom (dikelola oleh Anda).
Alur alat bawaan
Untuk alat bawaan (Google Penelusuran, Google Maps, Konteks URL, Penelusuran File, Eksekusi Kode), seluruh proses terjadi dalam satu panggilan API:
- Anda mengirim perintah: "Berapa akar kuadrat dari harga saham terbaru GOOG?"
- Gemini memutuskan bahwa ia memerlukan alat dan menjalankannya di server Google (misalnya, menelusuri harga saham, lalu menjalankan kode Python untuk menghitung akar kuadrat).
- Gemini mengirimkan kembali jawaban akhir yang didasarkan pada hasil alat.
Alur alat kustom (Pemanggilan fungsi)
Untuk alat kustom dan Penggunaan Komputer, aplikasi Anda menangani eksekusi:
- Anda mengirimkan perintah beserta deklarasi fungsi (alat).
- Gemini dapat mengirim kembali JSON terstruktur untuk memanggil fungsi tertentu
(misalnya,
{"name": "get_order_status", "args": {"order_id": "123"}}), selalu denganidunik. - Anda menjalankan fungsi di aplikasi atau lingkungan Anda.
- Anda mengirimkan hasil fungsi, dengan
idyang sama seperti panggilan fungsi, kembali ke Gemini. - Gemini menggunakan hasil tersebut untuk menghasilkan respons akhir atau panggilan alat lainnya.
Pelajari lebih lanjut di Panduan panggilan fungsi.
Menggabungkan alur alat bawaan dan kustom
Untuk permintaan yang menggabungkan alat bawaan dan alat kustom (panggilan fungsi), model menggunakan sirkulasi konteks alat untuk mengoordinasikan eksekusi di berbagai lingkungan:
- Anda mengirim perintah dan mendeklarasikan alat bawaan dan fungsi kustom yang ingin Anda aktifkan, dengan menetapkan flag untuk mengaktifkan dukungan kombinasi.
- Gemini menjalankan alat bawaan dan tunduk kepada pengguna jika ada panggilan fungsi sisi klien yang dihasilkan (yang dijalankan terlebih dahulu bergantung pada perintah dan apa yang diputuskan model). Layanan ini akan mengirimkan kembali respons dengan:
- Konfirmasi panggilan alat
- Hasil respons alat (ini mungkin muncul setelah JSON jika model menghasilkan dua panggilan fungsi paralel)
- JSON terstruktur untuk memanggil fungsi Anda
- Tanda tangan penalaran terenkripsi untuk mempertahankan konteks
- Anda menjalankan fungsi di aplikasi atau lingkungan Anda.
- Anda menampilkan semua bagian respons Gemini, ditambah hasil panggilan fungsi Anda.
- Gemini membuat respons akhir menggunakan semua konteks yang digabungkan.
Baca Panduan kombinasi alat untuk mempelajari cara mengaktifkan dukungan untuk kombinasi alat bawaan dan kustom serta contoh sirkulasi konteks.
Output terstruktur vs. panggilan fungsi
Gemini menawarkan dua metode untuk menghasilkan output terstruktur. Gunakan Panggilan fungsi saat model perlu melakukan langkah perantara dengan terhubung ke alat atau sistem data Anda sendiri. Gunakan Output Terstruktur saat Anda benar-benar memerlukan respons akhir model untuk mematuhi skema tertentu, seperti untuk merender UI kustom.
Output terstruktur dengan alat
Anda dapat menggabungkan Output Terstruktur dengan alat bawaan untuk memastikan bahwa respons model yang didasarkan pada data atau komputasi eksternal tetap mematuhi skema yang ketat.
Lihat Output terstruktur dengan alat untuk contoh kode.