SecondEye

Działanie

SecondEye to interaktywny wizualny asystent, który uczy się. Można go używać do różnych zadań i scenariuszy związanych ze wzrokiem. Można też nauczyć je wykonywać spersonalizowane zadania związane z wizją bez konieczności szkolenia czy programowania. Wszystko w interaktywny i powtarzalny sposób.
Drugie oko może być obecnie zbudowane tylko z użyciem Gemini ze względu na unikalne możliwości tego modelu:
1. Wykrywanie obiektów z możliwością zwracania dokładnych pozycji ramki ograniczającej
2. Obsługa reklam natywnych wideo z możliwością zwracania informacji z dodatkiem sygnatury czasowej
3. Duże okno kontekstowe
Drugie oko wykorzystuje te funkcje, aby oferować te unikalne i całkowicie nowe możliwości AI:
• W przypadku obrazów (wykorzystując funkcję 1):
◦ Definicje obiektów z oznaczeniem
◦ Pytania o konkretną część obrazu
◦ Ulepszenia:
▪ Wyszukiwanie obiektów
▪ Pytania o to, jak naprawić lub złożyć coś
▪ Prośby o wizualne informacje zwrotne
◦ Nauczanie modelu czegoś za pomocą oznaczenia na obrazie
• W przypadku filmów (wykorzystując funkcję 2):
◦ Ulepszone wyszukiwanie filmów
• W przypadku filmów z kamery na żywo (wykorzystując funkcję 3):
◦ Personalizowana analiza filmów w czasie rzeczywistym
◦ Nauczanie modelu czegoś za pomocą filmu
◦ Wspomaganie wizualne w czasie rzeczywistym dla osób z ograniczonym wzrokiem, z możliwością zapamiętywania twarzy, obiektów i miejsc na potrzeby przyszłego rozpoznawania.
• W przypadku udostępniania ekranu na żywo (korzystanie z funkcji 3):
◦ Nauczanie modelu procesu pracy
◦ Wsparcie IT lub programowania.
◦ Ulepszenie przeglądania internetu i ogólnego korzystania z komputera przez osoby niedowidzące