Simón

Ne işe yarar?

Simón, "Simón diyor" oyununda olduğu gibi insanları taklit etmeye çalışır. İlk olarak bir kullanıcı, dokunmatik ekranlı bir cihazda Chrome Gradio Python uygulaması aracılığıyla kısa bir video, resim veya ses kaydeder. Gemini API, bu medya girişini yükler ve sahnenin ve tüm insanların metin açıklamasını alır. Ardından metin açıklaması, istemle mühendislik yapılarak Gemini işlev çağrısı birkaç düzine aday arasından mümkün olan en iyi robot davranışı işlevini seçecek şekilde ayarlanır. Robot davranış işlevleri manuel olarak oluşturulur ancak Gemini ile (kod oluşturma) komut dosyası kullanılarak yeni ve yenilikçi davranışlar da oluşturulabilir. Geliştiricilere kendi robot davranışı işlevlerini nasıl oluşturabilecekleri hakkında bilgi verdiğimiz bir YouTube canlı yayını düzenledik. Köpük, çorap ve banttan yapılmış Simón, kamera, USB mikrofon ve hoparlörler, üç servo motor, iki LED göz ve dokunmatik ekranlı bir Raspberry Pi ile çalışıyor. Tüm kod açık kaynaktır ve yükleme talimatlarını ve bir BOM'u içeren eksiksiz bir Derleme Kılavuzu sunarız. Geliştiricilerin, Simón hakkında sorular sormasına olanak tanıyan ve alakalı bağlamla önceden doldurulmuş bir yardımcı komut dosyası sağlarız. Tüm kod Python'da yazılmıştır ve davranış işlevlerini ve Gemini API çağrılarını paralel olarak çalıştırmak için async modülünü kullanırız. Kod tasarımı, kolay özelleştirilebilirlik ve genişletilebilirlik için modülerdir. Geliştiricilerin, Simón'u Gemini API'yi kullanan kendi robotik projelerini oluşturmak için bir başlangıç noktası olarak kullanabileceğini umuyoruz.