سیمون

کاری که انجام می دهد

سیمون سعی می کند مانند بازی «سایمون می گوید» از انسان ها تقلید کند. ابتدا یک انسان یک ویدیو، تصویر یا صدا کوتاه را از طریق یک برنامه Chrome Gradio Python روی صفحه نمایش لمسی ضبط می کند. Gemini API این ورودی رسانه را آپلود می کند و شرح متنی از صحنه و هر انسان را دریافت می کند. سپس توضیحات متن به‌صورت مهندسی سریع انجام می‌شود به طوری که فراخوانی تابع Gemini بهترین عملکرد ممکن رفتار ربات را از میان دوجین نامزد انتخاب می‌کند. توابع رفتار ربات به صورت دستی ساخته شده اند، اما رفتارهای جدید جدید را نیز می توان با Gemini (تولید کد) با استفاده از یک اسکریپت ایجاد کرد. ما یک پخش زنده YouTube را میزبانی کردیم که به توسعه دهندگان آموزش می داد که چگونه می توانند عملکردهای رفتار ربات خود را ایجاد کنند. سیمون از فوم، جوراب و نوار ساخته شده است و روی Raspberry Pi با دوربین، میکروفون USB و بلندگو، سه سروو سرگرمی، دو چشم LED و صفحه نمایش لمسی اجرا می‌شود. همه کدها منبع باز هستند و ما یک راهنمای ساخت کامل با دستورالعمل های نصب و یک BOM ارائه می دهیم. ما یک اسکریپت کمکی ارائه می‌کنیم که به توسعه‌دهندگان اجازه می‌دهد سؤالاتی درباره Simón در یک نمونه چت Gemini بپرسند، که از قبل با زمینه مرتبط پر شده است. همه کدها در پایتون نوشته شده اند و ما از ماژول async برای اجرای توابع رفتار و فراخوانی های Gemini API به صورت موازی استفاده می کنیم. طراحی کد ماژولار برای سفارشی سازی و گسترش آسان است. امید ما این است که توسعه دهندگان بتوانند از Simón به عنوان نقطه راه اندازی برای ساخت پروژه های روباتیک خود که از Gemini API استفاده می کنند استفاده کنند.