Simón

用途

Simón 會模仿人類，就像「Simon Says」遊戲一樣。首先，使用者會透過 Chrome Gradio Python 應用程式在觸控螢幕上錄製短片、圖片或音訊。Gemini API 會上傳這項媒體輸入內容，並取得場景和任何人物的文字說明。接著，系統會根據提示進行文字說明設計，讓 Gemini 函式呼叫功能從數十個候選項目中，選擇最適合的機器人行為函式。機器人行為函式是手動製作的，但也可以使用 Gemini (程式碼產生) 搭配指令碼，產生新的行為。我們舉辦了 YouTube 直播，教導開發人員如何建立自己的機器人行為函式。Simón 由泡棉、襪子和膠帶製成，並在 Raspberry Pi 上運作，配備攝影機、USB 麥克風和喇叭、三個業餘伺服器、兩個 LED 眼睛和觸控螢幕。所有程式碼皆為開放原始碼，我們也提供完整的建構指南，其中包含安裝說明和 BOM。我們提供輔助腳本，讓開發人員向 Gemini 聊天例項詢問有關 Simón 的問題，並預先填入相關內容。所有程式碼都是以 Python 編寫，我們使用異步模組並行執行行為函式和 Gemini API 呼叫。程式碼設計採用模組化設計，可輕鬆自訂及擴充。我們希望開發人員能以 Simón 為起點，建構使用 Gemini API 的機器人專案。