Proyecto Stargate

Qué hace

El proyecto Stargate, la aplicación de IA, es un prototipo inicial de un sistema de evaluación automatizado (o simplemente un divertido juego de bocetos o adivinanzas). Actualmente, Stargate utiliza el modelo Gemini para simular el rol de un monitor en una sesión de visualización remota. El monitor en una sesión de visualización remota guía a un usuario a través de una sesión, intenta que se mantenga en una línea de señal y describe las imágenes que le llegan con más detalle. Gemini también se usa para aprovechar la ventaja multimodal completa que se incluye en los datos de boceto que, por lo general, los monitores del programa en una sesión de visualización remota analizarían después de una sesión. Esta automatización le da al Monitor de IA (Gemini) "ojos" para ver lo que el usuario está dibujando en un momento determinado y cómo estos bocetos pueden relacionarse con una imagen más clara de una ubicación o un objeto que se recopilará durante la sesión. La aplicación también se beneficia del uso del modelo Imagen 2 para generar modelos en vivo del posible objetivo de visualización remota en función de los detalles proporcionados en la conversación y los bocetos (lo que significa que incluso alguien tan malo para dibujar como yo también puede disfrutar del proceso de una sesión de visualización remota). Se han establecido algunos fundamentos iniciales para la integración de un sistema de generación de recuperación de imágenes en el chatbot, y estoy desarrollando un administrador de registros de cadenas de Firestore (PR está en). Este administrador de registros nos permitirá aprovechar al máximo Firestore para la administración de documentos para el chatbot de Gemini de generación de recuperación de imágenes. Trabajo futuro descrito en el repositorio