הכלים מרחיבים את היכולות של מודלים של Gemini, ומאפשרים להם לבצע פעולות בעולם, לגשת למידע בזמן אמת ולבצע משימות חישוביות מורכבות. מודלים יכולים להשתמש בכלים גם באינטראקציות רגילות של בקשה ותגובה וגם בסשנים של סטרימינג בזמן אמת באמצעות Live API.
כלים הם יכולות ספציפיות (כמו חיפוש Google או הרצת קוד) שמודל יכול להשתמש בהן כדי לענות על שאילתות. Gemini API מספק חבילה של כלים מובנים ומנוהלים באופן מלא, או שאתם יכולים להגדיר כלים בהתאמה אישית באמצעות קריאה לפונקציות.
כדי ליצור מערכות מרובות שלבים שמכוונות להשגת יעדים, אפשר לעיין במאמר סקירה כללית על סוכנים.
כלים מובנים זמינים
| כלי | תיאור | תרחישים לדוגמה |
|---|---|---|
| חיפוש Google | התשובות מבוססות על אירועים עכשוויים ועובדות מהאינטרנט כדי לצמצם את ההזיות. | לענות על שאלות לגבי אירועים מהזמן האחרון, לאמת עובדות באמצעות מגוון מקורות. |
| מפות Google | פיתוח עוזרים וירטואליים שמודעים למיקום, שיכולים למצוא מקומות, לקבל מסלולים ולספק הקשר מקומי עשיר. | תכנון מסלולי נסיעה עם כמה עצירות, חיפוש עסקים מקומיים על סמך קריטריונים של המשתמש. |
| Code Execution | המודל יכול לכתוב ולהריץ קוד Python כדי לפתור בעיות מתמטיות או לעבד נתונים בצורה מדויקת. | פתרון משוואות מתמטיות מורכבות, עיבוד וניתוח מדויקים של נתוני טקסט. |
| הקשר של כתובת ה-URL | הנחיית המודל לקרוא ולנתח תוכן מדפי אינטרנט או ממסמכים ספציפיים. | מענה לשאלות על סמך כתובות URL או מסמכים ספציפיים, אחזור מידע מדפי אינטרנט שונים. |
| שימוש במחשב (תצוגה מקדימה) | אפשר לאפשר ל-Gemini לצפות במסך וליצור פעולות לאינטראקציה עם ממשקי משתמש של דפדפני אינטרנט (ביצוע בצד הלקוח). | אוטומציה של תהליכי עבודה שחוזרים על עצמם באינטרנט, בדיקה של ממשקי משתמש של אפליקציות אינטרנט. |
| חיפוש קבצים | יצירת אינדקס וחיפוש במסמכים שלכם כדי להפעיל Retrieval-Augmented Generation (יצירה משולבת-אחזור, RAG). | חיפוש במדריכים טכניים, מענה לשאלות לגבי נתונים קנייניים. |
פרטים על העלויות שמשויכות לכלים ספציפיים מופיעים בדף התמחור.
איך מתבצעת ההפעלה של כלים
הכלים מאפשרים למודל לבקש פעולות במהלך שיחה. התהליך שונה בהתאם לסוג הכלי: כלי מובנה (בניהול Google) או כלי בהתאמה אישית (בניהול שלכם).
תהליך עבודה מובנה של כלי
בכלים המובנים (חיפוש Google, מפות Google, הקשר של כתובת URL, חיפוש קבצים, הרצת קוד), התהליך כולו מתבצע בקריאה אחת ל-API:
- אתם שולחים הנחיה: "What is the square root of the latest stock price of GOOG?"
- Gemini מחליט שהוא צריך כלים ומפעיל אותם בשרתים של Google (למשל, מחפש את מחיר המניה ואז מריץ קוד Python כדי לחשב את השורש הריבועי).
- Gemini מחזיר את התשובה הסופית שמבוססת על תוצאות הכלי.
תהליך מותאם אישית של שימוש בכלי (בקשה להפעלת פונקציה)
בכלים מותאמים אישית ובשימוש במחשב, האפליקציה מטפלת בהרצה:
- אתם שולחים הנחיה עם הצהרות על פונקציות (כלים).
- Gemini עשוי להחזיר JSON מובנה כדי לקרוא לפונקציה ספציפית (לדוגמה,
{"name": "get_order_status", "args": {"order_id": "123"}}), תמיד עםidייחודי. - אתם מריצים את הפונקציה באפליקציה או בסביבה שלכם.
- אתם שולחים את תוצאות הפונקציה, עם אותו
idכמו הקריאה לפונקציה, בחזרה אל Gemini. - Gemini משתמש בתוצאות כדי ליצור תשובה סופית או קריאה נוספת לכלי.
מידע נוסף מפורט במדריך להפעלת פונקציות.
שילוב של כלים מובנים וכלים בהתאמה אישית
בבקשות שמשלבות בין כלים מובנים לבין כלים מותאמים אישית (קריאות לפונקציות), המודל משתמש בהעברת הקשר של הכלים כדי לתאם את הביצוע בסביבות שונות:
- אתם שולחים הנחיה ומצהירים על הכלים המובנים ועל הפונקציות בהתאמה אישית שאתם רוצים להפעיל, ומגדירים דגל כדי להפעיל תמיכה בשילוב.
- Gemini מפעיל כלים מובנים ומתעדף את המשתמש אם נוצרים קריאות לפונקציות בצד הלקוח (הסדר שבו הן מופעלות תלוי בהנחיה ובמה שהמודל מחליט). הוא מחזיר תשובה עם:
- אישור הקריאה לכלי
- תוצאות התגובה של הכלי (יכול להיות שהן יופיעו אחרי ה-JSON אם המודל יצר שתי קריאות מקבילות לפונקציות)
- JSON מובנה לקריאה לפונקציה
- חתימות מוצפנות של מחשבות כדי לשמור על ההקשר
- אתם מריצים את הפונקציה באפליקציה או בסביבה שלכם.
- אתם מחזירים את כל החלקים של התשובה של Gemini, בנוסף לתוצאות של קריאת הפונקציה.
- Gemini יוצר את התשובה הסופית על סמך כל ההקשר המשולב.
במדריך לשילוב כלים מוסבר איך להפעיל תמיכה בשילוב של כלים מובנים וכלים בהתאמה אישית, ומוצגות דוגמאות להעברת הקשר.
פלט מובנה לעומת קריאה להפעלת פונקציות
Gemini מציע שתי שיטות ליצירת פלט מובנה. כדאי להשתמש בקריאה לפונקציה כשהמודל צריך לבצע שלב ביניים על ידי התחברות לכלים או למערכות נתונים משלכם. מומלץ להשתמש בפלט מובנה כשאתם צריכים שהתשובה הסופית של המודל תתאים לסכימה ספציפית, למשל כדי לעבד ממשק משתמש מותאם אישית.
פלט מובנה עם כלים
אפשר לשלב Structured Outputs עם כלים מובנים כדי לוודא שהתשובות של המודל שמבוססות על נתונים חיצוניים או על חישובים עדיין עומדות בסכימה קפדנית.
דוגמאות קוד מופיעות במאמר בנושא פלט מובנה עם כלים.