הכלים מרחיבים את היכולות של מודלי Gemini, ומאפשרים להם לפעול בעולם, לגשת למידע בזמן אמת ולבצע משימות חישוביות מורכבות. המודלים יכולים להשתמש בכלים גם באינטראקציות רגילות של בקשה-תגובה וגם בסשנים של סטרימינג בזמן אמת באמצעות Live API.
כלים הם יכולות ספציפיות (כמו חיפוש Google או הפעלת קוד) שמודל יכול להשתמש בהן כדי לענות על שאילתות. Gemini API מספק חבילה של כלים מובְנים ומנוהלים, ואתם יכולים להגדיר כלים בהתאמה אישית באמצעות קריאה לפונקציות.
כדי ליצור מערכות מרובות שלבים שמכוונות להשגת יעדים, אפשר לעיין במאמר סקירה כללית על סוכנים.
כלים מובנים זמינים
| כלי | תיאור | תרחישים לדוגמה |
|---|---|---|
| חיפוש Google | לבסס את התשובות על אירועים אקטואליים ועובדות מהאינטרנט כדי לצמצם את ההזיות. | לענות על שאלות לגבי אירועים מהזמן האחרון, לאמת עובדות באמצעות מקורות מגוונים. |
| מפות Google | אפשר ליצור עוזרים אישיים עם גישה למיקום שיכולים למצוא מקומות, לקבל מסלולים ולספק הקשר מקומי עשיר. | תכנון מסלולי נסיעה עם כמה עצירות, חיפוש עסקים מקומיים על סמך קריטריונים של המשתמש. |
| הרצת קוד | המודל יכול לכתוב ולהריץ קוד Python כדי לפתור בעיות מתמטיות או לעבד נתונים בצורה מדויקת. | לפתור משוואות מתמטיות מורכבות, לעבד ולנתח נתוני טקסט בצורה מדויקת. |
| הקשר של כתובת ה-URL | להנחות את המודל לקרוא ולנתח תוכן מדפי אינטרנט או ממסמכים ספציפיים. | לענות על שאלות על סמך כתובות URL או מסמכים ספציפיים, ולאחזר מידע מדפי אינטרנט שונים. |
| שימוש במחשב (גרסת טרום-השקה) | הפעלת Gemini כדי להציג מסך וליצור פעולות לאינטראקציה עם ממשקי משתמש של דפדפני אינטרנט (ביצוע בצד הלקוח). | אוטומציה של תהליכי עבודה חוזרים על עצמם מבוססי-אינטרנט, בדיקה של ממשקי משתמש של אפליקציות אינטרנט. |
| חיפוש קבצים | הוספה לאינדקס וחיפוש במסמכים שלכם כדי להפעיל את Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG). | חיפוש במדריכים טכניים, מענה על שאלות לגבי נתונים קנייניים. |
בדף התמחור מפורטות העלויות שמשויכות לכלים ספציפיים.
איך מתבצעת הרצת כלים
הכלים מאפשרים למודל לבקש פעולות במהלך שיחה. התהליך משתנה בהתאם לסוג הכלי: כלי מובנה (בניהול Google) או כלי בהתאמה אישית (בניהול שלכם).
תהליך עבודה עם כלים מובנים
בכלים המובנים (חיפוש Google, מפות Google, URL Context, חיפוש קבצים, הפעלת קוד), כל התהליך מתרחש בקריאה אחת ל-API:
- אתם שולחים הנחיה: "What is the square root of the latest stock price of GOOG?"
- Gemini מחליט שהוא צריך כלים ומפעיל אותם בשרתים של Google (למשל, מחפש את מחיר המניה ואז מריץ קוד Python כדי לחשב את השורש הריבועי).
- Gemini שולח בחזרה את התשובה הסופית שמבוססת על התוצאות מהכלי.
תהליך של כלי בהתאמה אישית (בקשה להפעלת פונקציה)
בכלים מותאמים אישית ובשימוש במחשב, האפליקציה מטפלת בהרצה:
- אתם שולחים הנחיה יחד עם הצהרות על פונקציות (כלים).
- Gemini עשוי להחזיר JSON מובנה כדי לקרוא לפונקציה ספציפית (לדוגמה,
{"name": "get_order_status", "args": {"order_id": "123"}}), תמיד עםidייחודי. - אתם מריצים את הפונקציה באפליקציה או בסביבה שלכם.
- אתם שולחים את תוצאות הפונקציה, עם אותו
idכמו בבקשה להפעלת פונקציה, בחזרה ל-Gemini. - Gemini משתמש בתוצאות כדי ליצור תשובה סופית או קריאה נוספת לכלי.
מידע נוסף מפורט במדריך בנושא קריאה להפעלת פונקציות.
שילוב של כלים מובנים וכלים בהתאמה אישית
בבקשות שמשלבות כלים מובנים וכלים בהתאמה אישית (קריאה להפעלת פונקציות), המודל משתמש בהעברת הקשר של כלים כדי לתאם את ההרצה בסביבות שונות:
- אתם שולחים הנחיה ומצהירים על הכלים המובנים והפונקציות בהתאמה אישית שאתם רוצים להפעיל, ומגדירים דגל כדי להפעיל תמיכה בשילוב.
- Gemini מריץ כלים מובנים ומעביר את השליטה למשתמש אם נוצרות בקשות להפעלת פונקציות בצד הלקוח (הסדר שבו הן מופעלות תלוי בפרומפט ובהחלטה של המודל). הוא שולח בחזרה תשובה עם:
- אישור הפעלת הכלי
- תוצאות התגובה של הכלי (יכול להיות שהן יופיעו אחרי ה-JSON אם המודל יצר שתי קריאות להפעלת פונקציות במקביל)
- JSON מובנה לקריאה לפונקציה
- חתימות מוצפנות של תהליכי החשיבה כדי לשמור על ההקשר
- אתם מריצים את הפונקציה באפליקציה או בסביבה שלכם.
- אתם מחזירים את כל החלקים של התשובה של Gemini, וגם את התוצאות של בקשה להפעלת פונקציה.
- Gemini יוצר את התשובה הסופית על סמך כל ההקשר המשולב.
במדריך לשילוב כלים מוסבר איך להפעיל תמיכה בשילוב של כלים מובנים וכלים בהתאמה אישית, ומוצגות דוגמאות להעברת הקשר.
פלט מובנה לעומת קריאה להפעלת פונקציות
ל-Gemini יש שתי שיטות ליצירת פלט מובנה. קריאה לפונקציה: כשהמודל צריך לבצע שלב ביניים על ידי התחברות לכלים או למערכות הנתונים שלכם. כדאי להשתמש בפלט מובנה כשרוצים שהתשובה הסופית של המודל תתאים לסכימה ספציפית, למשל כדי לעבד ממשק משתמש מותאם אישית.
פלט מובנה עם כלים
אתם יכולים לשלב פלט מובנה עם כלים מובנים כדי לוודא שהתשובות של המודל שמבוססות על נתונים חיצוניים או על חישוב עדיין תואמות לסכימה קפדנית.
דוגמאות קוד מופיעות במאמר בנושא פלט מובנה עם כלים.