Projet Stargate

Description

L'application d'IA Project Stargate est un prototype préliminaire d'un système d'évaluation automatisé (ou tout simplement un jeu amusant de dessin/devinage). Actuellement, Project Stargate utilise le modèle Gemini pour simuler le rôle d'un moniteur lors d'une session de vision à distance. Le moniteur guide le spectateur tout au long de la session, en essayant de le maintenir sur une ligne de signal et de décrire plus en détail les images qui lui sont transmises. Gemini est également utilisé pour exploiter pleinement les avantages multimodaux, y compris dans les données de croquis que les moniteurs du programme dans une session de visionnage à distance analysent généralement après une session. Cette automatisation donne au moniteur d'IA (Gemini) des "yeux" pour voir ce que le spectateur dessine à un moment donné et comment ces croquis peuvent être liés à une image plus claire d'un lieu ou d'un objet qui sera recueillie au cours de la session. L'application bénéficie également de l'utilisation du modèle Imagen 2 pour générer des modèles en direct de la cible de vision à distance potentielle en fonction des détails fournis dans la conversation et des croquis (ce qui signifie que même une personne aussi mauvaise en dessin que moi peut profiter du processus d'une session de vision à distance !). Des bases initiales ont été posées pour l'intégration d'un système de génération améliorée de la récupération dans le chatbot, et j'ai développé un gestionnaire d'enregistrements Firestore Langchain (PR est en cours). Ce gestionnaire d'enregistrements nous permettra de tirer pleinement parti de Firestore pour la gestion des documents du chatbot Gemini de génération améliorée de la récupération. Travaux futurs décrits dans le dépôt