Progetto Stargate

Descrizione

Project Stargate, l'applicazione di IA, è un primo prototipo di sistema di valutazione automatizzato (o semplicemente un divertente gioco di disegno/indovina). Attualmente Stargate utilizza il modello Gemini per simulare il ruolo di un monitor all'interno di una sessione di visualizzazione remota: il monitor in una sessione di visualizzazione remota guida uno spettatore attraverso una sessione, cercando di mantenerlo in linea e di descrivere le immagini che riceve in modo più dettagliato. Gemini viene utilizzato anche per sfruttare al meglio il vantaggio multimodale di includere nei dati dei bozzetti quelli che in genere il programma monitora in una sessione di visualizzazione remota e che vengono analizzati dopo la sessione. Questa automazione offre all'AI Monitor (Gemini) gli "occhi" per vedere cosa sta disegnando lo spettatore in un determinato momento e in che modo questi schizzi possono essere correlati a un'immagine più chiara di un luogo o di un oggetto che verrà raccolta durante la sessione. L'applicazione beneficia anche dell'utilizzo del modello Imagen 2 per generare modelli dal vivo del potenziale target di visualizzazione remota in base ai dettagli forniti nella conversazione e agli schizzi (il che significa che anche una persona che non sa disegnare come me può godersi il processo di una sessione di visualizzazione remota). Sono stati gettati alcuni basi iniziali per l'integrazione di un sistema di generazione di immagini aumentate nel chatbot con me che sviluppo un gestore di record di catene di documenti Firestore (PR è attivo). Questo gestore di record ci consentirà di sfruttare appieno Firestore per la gestione dei documenti per il chatbot Gemini di generazione di immagini aumentate. Attività future delineate nel repository