Simón

תיאור

סימון מנסה לחקות בני אדם, כמו במשחק 'סימון אומר'. קודם אדם ייקלט סרטון קצר, תמונה או אודיו באמצעות אפליקציית Chrome Gradio Python במסך מגע. ה-API של Gemini מעלה את קלט המדיה הזה ומקבל תיאור טקסטואלי של הסצנה ושל כל האנשים. לאחר מכן, תיאור הטקסט עובר תכנון כך שקריאת הפונקציה של Gemini תוכל לבחור את פונקציית ההתנהגות הטובה ביותר האפשרית של הרובוט מתוך כמה עשרות מועמדים. פונקציות של התנהגות הרובוט נוצרות באופן ידני, אבל אפשר גם ליצור התנהגויות חדשות באמצעות Gemini (יצירת קוד) באמצעות סקריפט. ערכנו שידור חי ב-YouTube עם הדרכה למפתחים על יצירת פונקציות התנהגות רובוט משלהם. סימון עשוי קצף, גרביים ודבק, והוא פועל על Raspberry Pi עם מצלמה, מיקרופון USB ורמקולים, שלושה מנועי סרבו לחובבים, שתי עיניים עם נוריות LED ומסך מגע. כל הקוד הוא בקוד פתוח, ואנחנו מספקים מדריך Build מלא עם הוראות התקנה ו-BOM. אנחנו מספקים סקריפט עזר שמאפשר למפתחים לשאול שאלות על Simón למכונה של Gemini Chat, עם השלמה מראש של הקשר רלוונטי. כל הקוד נכתב ב-Python, ואנחנו משתמשים במודול async כדי להריץ פונקציות התנהגות וקריאות ל-Gemini API במקביל. עיצוב הקוד הוא מודולרי, כדי שתוכלו להתאים אותו בקלות ולהרחיב אותו. אנחנו מקווים שמפתחים יוכלו להשתמש ב-Simón כנקודת מוצא ליצירת פרויקטים משלהם בתחום הרובוטיקה שמשתמשים ב-Gemini API.