SecondEye

Qué hace

SecondEye es un asistente visual interactivo y entrenable. Se puede usar para una variedad de tareas y casos de uso relacionados con la visión. También se puede enseñar a realizar tareas de visión personalizadas sin entrenamiento ni programación. Todo de forma interactiva e iterativa.
Actualmente, SecondEye solo se puede compilar con Gemini debido a las siguientes capacidades únicas del modelo:
1. Detección de objetos con la capacidad de mostrar posiciones precisas de cuadros de límite
2. Compatibilidad con videos nativos con la capacidad de mostrar información con marca de tiempo
3. Ventana de contexto grande
SecondEye aprovecha estas capacidades para ofrecer estas experiencias de IA únicas y totalmente nuevas:
• Para imágenes (con la función n° 1):
◦ Definiciones de objetos con anotaciones
◦ Preguntar sobre una parte específica de una imagen
◦ Mejoras:
▪ Búsqueda de objetos
▪ Preguntas sobre cómo reparar o ensamblar
▪ Solicitudes de comentarios visuales
◦ Enseñar al modelo sobre una parte con anotaciones de una imagen
• Para videos (con la función n° 2):
◦ Experiencia de búsqueda de videos mejorada
• Para videos de cámara en vivo (con la función n° 3):
◦ Análisis de video personalizado en tiempo real
◦ Enseñar algo al modelo con un video
◦ Asistencia visual en tiempo real para personas con discapacidades visuales, con la capacidad de memorizar rostros, objetos y lugares para el reconocimiento futuro.
• Para compartir la pantalla en vivo (con la función n° 3):
◦ Enseñar al modelo un flujo de trabajo
◦ Asistencia de TI o programación
◦ Mejorar la navegación web y la experiencia general de la computadora para las personas con discapacidades visuales