SecondEye

Что он делает

SecondEye — интерактивный и обучаемый визуальный помощник. Его можно использовать для различных задач и вариантов использования, связанных со зрением. Его также можно научить выполнять персонализированные задачи по зрению без обучения или программирования. Все это в интерактивной и итеративной манере.
В настоящее время SecondEye может быть построен только с Gemini из-за следующих уникальных возможностей этой модели:
1. Обнаружение объектов с возможностью возврата точных положений ограничивающей рамки
2. Собственная поддержка видео с возможностью возврата информации с меткой времени
3. Большое контекстное окно
SecondEye использует эти возможности, чтобы предложить уникальные и совершенно новые возможности искусственного интеллекта:
• Для изображений (с использованием возможности № 1):
◦ Аннотированные определения объектов
◦ Вопрос о конкретной части изображения
◦ Улучшение:
▪ Поиск объектов
▪ Как ремонтировать или собирать вопросы
▪ Запросы визуальной обратной связи
◦ Обучение модели аннотированной части изображения
• Для видео (используя возможность № 2):
◦ Улучшенный поиск видео
• Для видео с камеры в реальном времени (с использованием возможности № 3):
◦ Персонализированный анализ видео в реальном времени
◦ Обучение модели чему-либо с помощью видео
◦ Визуальная помощь в режиме реального времени для людей с нарушениями зрения с возможностью запоминания лиц, объектов и мест для будущего распознавания.
• Для показа экрана в реальном времени (с использованием возможности № 3):
◦ Обучение модели рабочему процессу
◦ ИТ-поддержка или поддержка программирования.
◦ Улучшение просмотра веб-страниц и общего опыта работы с компьютером для людей с нарушениями зрения