Simón

Ý nghĩa

Simón cố gắng bắt chước con người, chẳng hạn như trò chơi "Simon nói". Trước tiên, con người sẽ ghi lại một video ngắn, hình ảnh hoặc âm thanh thông qua ứng dụng Chrome Gradio Python trên màn hình cảm ứng. API Gemini sẽ tải nội dung nghe nhìn này lên và nhận nội dung mô tả bằng văn bản về cảnh và mọi người xuất hiện trong cảnh đó. Sau đó, nội dung mô tả văn bản được thiết kế theo lời nhắc để lệnh gọi hàm Gemini chọn hàm hành vi robot tốt nhất có thể trong số vài chục đề xuất. Các hàm hành vi của robot được tạo thủ công, nhưng bạn cũng có thể tạo các hành vi mới bằng Gemini (tạo mã) bằng tập lệnh. Chúng tôi đã tổ chức một sự kiện phát trực tiếp trên YouTube để hướng dẫn nhà phát triển cách tạo các hàm hành vi của robot. Simón được làm bằng bọt, vớ và băng keo, chạy trên Raspberry Pi với máy ảnh, micrô USB và loa, 3 servo cho mục đích giải trí, 2 mắt LED và màn hình cảm ứng. Tất cả mã đều là nguồn mở và chúng tôi cung cấp Hướng dẫn xây dựng đầy đủ kèm theo hướng dẫn cài đặt và BOM. Chúng tôi cung cấp một tập lệnh trợ giúp cho phép nhà phát triển đặt câu hỏi về Simón cho một thực thể trò chuyện Gemini, điền sẵn ngữ cảnh có liên quan. Tất cả mã đều được viết bằng Python và chúng ta sử dụng mô-đun không đồng bộ để chạy song song các hàm hành vi và lệnh gọi API Gemini. Thiết kế mã theo mô-đun để dễ dàng tuỳ chỉnh và mở rộng. Chúng tôi hy vọng rằng nhà phát triển có thể sử dụng Simón làm điểm khởi đầu để xây dựng các dự án robot của riêng họ bằng Gemini API.