Simón

作用

Simón 会尝试模仿人类，就像玩“Simon 说”游戏一样。首先，用户会在触摸屏显示屏上通过 Chrome Gradio Python 应用录制一段简短的视频、图片或音频。Gemini API 会上传此媒体输入，并获取场景和所有人的文本说明。然后，系统会通过提示来设计文本说明，以便 Gemini 函数调用从几十个候选函数中选择最佳的聊天机器人行为函数。机器人行为函数是手动创建的，但您也可以使用脚本通过 Gemini（代码生成）生成新的新颖行为。我们举办了一场 YouTube 直播，向开发者介绍了如何创建自己的机器人行为函数。Simón 由泡沫、袜子和胶带制成，搭载了摄像头、USB 麦克风和扬声器、三个业余舵机、两个 LED 眼睛和一个触摸屏显示屏，并运行在 Raspberry Pi 上。所有代码均为开源代码，我们提供了完整的构建指南，其中包含安装说明和物料清单 (BOM)。我们提供了一个辅助脚本，让开发者可以向 Gemini 聊天实例询问有关 Simón 的问题，并预先填充相关上下文。所有代码均采用 Python 编写，我们使用 async 模块并行运行行为函数和 Gemini API 调用。代码设计采用模块化方式，可轻松实现自定义和扩展。我们希望开发者能以 Simón 为起点，构建自己的使用 Gemini API 的 Robotics 项目。