Project Stargate

Fungsinya

Project Stargate, aplikasi AI, adalah prototipe awal untuk sistem evaluasi otomatis (atau hanya game sketsa/tebakan yang menyenangkan). Saat ini, stargate menggunakan model Gemini untuk menyimulasikan peran monitor dalam sesi tampilan jarak jauh. Monitor dalam sesi tampilan jarak jauh memandu penonton melalui sesi, mencoba membuat mereka tetap berada di jalur sinyal dan mendeskripsikan gambar yang muncul dengan lebih mendetail. Gemini juga digunakan untuk mendapatkan manfaat multimodal secara penuh, termasuk dalam data sketsa yang biasanya dianalisis oleh program monitor dalam sesi tampilan jarak jauh setelah sesi - otomatisasi ini memberi 'mata' AI Monitor (Gemini) untuk melihat apa yang digambar penonton pada waktu tertentu dan bagaimana sketsa ini dapat dikaitkan dengan gambar lokasi atau objek yang lebih jelas yang akan dikumpulkan selama sesi. Aplikasi ini juga mendapatkan manfaat dari penggunaan model Imagen 2 untuk membuat model live dari potensi target tampilan jarak jauh berdasarkan detail yang diberikan dalam percakapan dan sketsa (artinya, meskipun saya tidak pandai menggambar, saya juga dapat menikmati proses sesi tampilan jarak jauh). Beberapa dasar awal telah diletakkan untuk integrasi sistem pembuatan augmented retrieval ke dalam chatbot dengan saya mengembangkan Pengelola Kumpulan Data Firestore Langchain (PR sudah ada). Pengelola kumpulan data ini akan memungkinkan kita memanfaatkan Firestore secara maksimal untuk pengelolaan dokumen untuk chatbot gemini pembuatan augmented retrieval. Pekerjaan mendatang yang diuraikan di repo