Проект Звездные Врата

Что он делает

Project Stargate, приложение ИИ, является ранним прототипом автоматизированной системы оценки (или просто забавной игры в зарисовки/угадайку!) в настоящее время stargate использует модель Gemini для имитации роли монитора в сеансе удаленного просмотра - монитор в сеансе удаленного просмотра направляет зрителя через сеанс, пытаясь удержать его на сигнальной линии и более подробно описать изображения, которые приходят к нему. Gemini также используется в полной мере для мультимодального преимущества, включая в данные зарисовки, которые обычно программные мониторы в сеансе удаленного просмотра анализируют после сеанса - эта автоматизация дает монитору ИИ (Gemini) «глаза», чтобы видеть, что зритель рисует в определенное время, и как эти зарисовки могут соотноситься с более четкой картиной местоположения или объекта, которая будет собрана в течение сеанса. Приложение также выигрывает от использования модели Imagen 2 для создания живых моделей потенциальной цели удаленного просмотра на основе деталей, предоставленных в разговоре и эскизах (это означает, что даже такой плохой рисовальщик, как я, может наслаждаться процессом сеанса удаленного просмотра!) заложена некоторая начальная основа для интеграции системы генерации дополненной поисковой информации в чат-бот, и я разрабатываю Firestore Langchain Record Manager (PR в разработке), этот менеджер записей позволит нам в полной мере использовать Firestore для управления документами для чат-бота Gemini с дополненной поисковой генерацией. Дальнейшая работа изложена в репозитории