Simón

기능

시몬은 '시몬 Says' 게임과 같이 인간을 모방하려고 합니다. 먼저 사람이 터치 스크린 디스플레이에서 Chrome Gradio Python 앱을 통해 짧은 동영상, 이미지 또는 오디오를 녹화합니다. Gemini API는 이 미디어 입력을 업로드하고 장면과 사람에 관한 텍스트 설명을 가져옵니다. 그런 다음 텍스트 설명은 Gemini 함수 호출이 수십 개의 후보 중에서 가장 적합한 로봇 동작 함수를 선택하도록 프롬프트 엔지니어링됩니다. 로봇 동작 함수는 수동으로 제작되지만 스크립트를 사용하여 Gemini (코드 생성)로 새로운 독창적인 동작을 생성할 수도 있습니다. YouTube 라이브 스트림을 통해 개발자가 자체 로봇 동작 함수를 만드는 방법을 안내했습니다. Simón은 폼, 양말, 테이프로 만들어졌으며 카메라, USB 마이크 및 스피커, 취미용 서보 3개, LED 눈 2개, 터치 스크린 디스플레이가 있는 Raspberry Pi에서 실행됩니다. 모든 코드는 오픈소스로 제공되며 설치 안내와 BOM이 포함된 전체 빌드 가이드를 제공합니다. Google에서는 개발자가 Gemini 채팅 인스턴스에 Simón에 관한 질문을 하고 관련 컨텍스트를 미리 채울 수 있는 도우미 스크립트를 제공합니다. 모든 코드는 Python으로 작성되며 async 모듈을 사용하여 동작 함수와 Gemini API 호출을 동시에 실행합니다. 코드 설계는 간편한 맞춤설정 및 확장성을 위해 모듈식입니다. Google은 개발자가 Simón을 출발점으로 삼아 Gemini API를 사용하는 자체 로봇 공학 프로젝트를 빌드할 수 있기를 바랍니다.