Project Stargate

기능

AI 애플리케이션인 Project Stargate는 자동 평가 시스템의 초기 프로토타입 (또는 재미있는 스케치/추측 게임)입니다. 현재 Stargate는 Gemini 모델을 사용하여 원격 보기 세션 내에서 모니터의 역할을 시뮬레이션합니다. 원격 보기 세션의 모니터는 시청자를 세션을 통해 안내하여 신호선을 유지하고 표시되는 이미지를 더 자세히 설명하도록 유도합니다. Gemini는 일반적으로 원격 보기 세션에서 프로그램 모니터가 세션 후에 분석하는 스케치 데이터에 포함된 다중 모달 이점을 최대한 활용하는 데도 사용됩니다. 이 자동화는 AI 모니터 (Gemini)에 '눈'을 제공하여 시청자가 특정 시점에 스케치하는 내용과 이러한 스케치가 세션 중에 수집되는 위치 또는 물체의 더 선명한 사진과 어떤 관련이 있는지 확인할 수 있도록 합니다. 또한 이 애플리케이션은 대화 및 스케치에 제공된 세부정보를 기반으로 잠재적인 원격 보기 타겟의 실시간 모델을 생성하는 데 Imagen 2 모델을 사용할 수 있습니다. 즉, 저처럼 그림을 못 그리는 사람도 원격 보기 세션 과정을 즐길 수 있습니다. Firestore Langchain Record Manager(PR이 있음)를 개발하여 검색 증강 생성 시스템을 챗봇에 통합하기 위한 초기 작업이 이루어졌습니다. 이 레코드 관리자를 사용하면 검색 증강 생성 Gemini 챗봇의 문서 관리에 Firestore를 최대한 활용할 수 있습니다. 저장소에 설명된 향후 작업