SecondEye

O que faz?

O SecondEye é um assistente visual interativo e ensinável. Ele pode ser usado para várias tarefas e casos de uso relacionados à visão. Ele também pode ser ensinado a realizar tarefas de visão personalizadas sem treinamento ou programação. Tudo de forma interativa e iterativa.
No momento, o SecondEye só pode ser criado com o Gemini devido aos recursos exclusivos do modelo a seguir:
1. Detecção de objetos com a capacidade de retornar posições precisas da caixa delimitadora
2. Suporte a vídeo nativo com a capacidade de retornar informações com carimbo de data/hora
3. Janela de contexto grande
O SecondEye aproveita esses recursos para oferecer estas experiências de IA únicas e totalmente novas:
• Para imagens (usando o recurso 1):
◦ Definições de objetos anotados
◦ Perguntas sobre uma parte específica de uma imagem
◦ Melhorias:
▪ Pesquisa de objetos
▪ Como reparar ou montar perguntas
▪ Solicitações de feedback visual
◦ Ensinar o modelo sobre uma parte anotada de uma imagem
• Para vídeo (usando o recurso 2):
◦ Experiência de pesquisa de vídeo aprimorada
• Para vídeo de câmera ao vivo (usando o recurso 3):
◦ Análise de vídeo personalizada em tempo real
◦ Ensinar o modelo com um vídeo
◦ Assistência visual em tempo real para pessoas com deficiência visual, com a capacidade de memorizar rostos, objetos e lugares para reconhecimento futuro.
• Para o compartilhamento de tela ao vivo (usando a capacidade N° 3):
◦ Ensinar o modelo a um fluxo de trabalho
◦ Suporte de TI ou programação.
◦ Melhorar a navegação na Web e a experiência geral do computador para pessoas com deficiência visual