Project Stargate

作用

Stargate 项目是一款 AI 应用，是自动化评估系统的早期原型（或者只是一款有趣的素描/猜测游戏！）目前，Stargate 使用 Gemini 模型来模拟远程查看会话中的监控器角色 - 远程查看会话中的监控器会引导观看者完成整个会话，尝试让观看者保持在信号线上，并更详细地描述他们看到的图片。Gemini 还可充分利用草图数据的多模式优势，这些数据通常由远程查看会话中的程序监控器在会话结束后进行分析。这种自动化功能可让 AI 监控器 (Gemini) 拥有“眼睛”，以便查看观看者在特定时间正在绘制的内容，以及这些草图可能与会话期间收集的某个地点或物体的更清晰图片有何关联。该应用还可以使用 Imagen 2 模型根据对话中提供的详细信息和草图生成潜在远程查看目标的实时模型（这意味着，即使像我一样画画很糟糕的人也能享受远程查看会话的过程！）我们已经为将检索增强生成系统集成到聊天机器人奠定了一些初步基础，我开发了一个 Firestore Langchain 记录管理器（PR 已提交），借助此记录管理器，我们可以充分利用 Firestore 来管理检索增强生成 Gemini 聊天机器人的文档。代码库中列出的后续工作