Project Stargate

O que faz?

O Projeto Stargate, o aplicativo de IA, é um protótipo inicial de um sistema de avaliação automatizada (ou apenas um jogo divertido de desenho/adivinhação). Atualmente, o Stargate usa o modelo Gemini para simular o papel de um monitor em uma sessão de visualização remota. O monitor em uma sessão de visualização remota guia um espectador por uma sessão, tentando mantê-lo em uma linha de sinal e descrever as imagens que chegam a ele com mais detalhes. O Gemini também é usado para aproveitar ao máximo os dados de sketch que normalmente o programa monitora em uma sessão de visualização remota que seria analisada após uma sessão. Essa automação dá ao Monitor de IA (Gemini) "olhos" para ver o que o espectador está desenhando em um determinado momento e como esses esboços podem se relacionar com uma imagem mais clara de um local ou objeto que será coletado durante a sessão. O aplicativo também se beneficia do uso do modelo Imagen 2 para gerar modelos ao vivo do possível alvo de visualização remota com base nos detalhes fornecidos na conversa e nos esboços. Isso significa que até mesmo alguém que não sabe desenhar como eu pode aproveitar o processo de uma sessão de visualização remota. Fizemos alguns preparativos iniciais para a integração de um sistema de geração de recuperação aumentada no chatbot, desenvolvendo um gerenciador de registros do Firestore Langchain (PR está em andamento). Esse gerenciador de registros vai nos permitir aproveitar ao máximo o Firestore para gerenciamento de documentos no chatbot de geração de recuperação aumentada Gemini. Trabalhos futuros descritos no repositório