Simón

การทำงาน

Simón จะพยายามเลียนแบบมนุษย์ เช่น เล่นเกม "Simon Says" ก่อนอื่น เจ้าหน้าที่จะบันทึกวิดีโอ รูปภาพ หรือเสียงสั้นๆ ผ่านแอป Chrome Gradio Python บนจอแสดงผลแบบสัมผัส Gemini API จะอัปโหลดอินพุตสื่อนี้และรับคำอธิบายฉากและบุคคลเป็นข้อความ จากนั้นระบบจะออกแบบคำอธิบายข้อความเพื่อให้การเรียกใช้ฟังก์ชันของ Gemini เลือกฟังก์ชันลักษณะการทํางานของหุ่นยนต์ที่ดีที่สุดจากตัวเลือกหลายสิบรายการ ฟังก์ชันลักษณะการทํางานของหุ่นยนต์สร้างขึ้นด้วยตนเอง แต่คุณยังสร้างลักษณะการทํางานใหม่ๆ ได้ด้วย Gemini (การสร้างโค้ด) โดยใช้สคริปต์ เราได้จัดสตรีมแบบสดบน YouTube เพื่อแนะนำนักพัฒนาแอปเกี่ยวกับวิธีสร้างฟังก์ชันลักษณะการทํางานของหุ่นยนต์ของตนเอง Simón ทำจากโฟม ถุงเท้า และเทป โดยทำงานบน Raspberry Pi ที่มีกล้อง ไมโครโฟนและลำโพง USB, เซิร์ฟเวอร์สำหรับงานอดิเรก 3 ตัว, ตา LED 2 ดวง และจอแสดงผลแบบสัมผัส โค้ดทั้งหมดเป็นแบบโอเพนซอร์ส และเรามีคู่มือการสร้างฉบับเต็มพร้อมวิธีการติดตั้งและ BOM เรามีสคริปต์ตัวช่วยที่ช่วยให้นักพัฒนาแอปถามคำถามเกี่ยวกับ Simón ไปยังอินสแตนซ์แชท Gemini ได้ โดยระบบจะป้อนข้อมูลบริบทที่เกี่ยวข้องไว้ล่วงหน้า โค้ดทั้งหมดเขียนด้วย Python และเราใช้โมดูล async เพื่อเรียกใช้ฟังก์ชันลักษณะการทํางานและการเรียกใช้ Gemini API พร้อมกัน การออกแบบโค้ดเป็นแบบโมดูลเพื่อให้ปรับแต่งและขยายได้ง่าย เราหวังว่านักพัฒนาแอปจะใช้ Simón เป็นจุดเริ่มต้นในการสร้างโปรเจ็กต์หุ่นยนต์ของตนเองที่ใช้ Gemini API