SmartVision

Działanie

SmartVision to mobilny asystent dla osób z zaburzeniami wzroku
,który zapewnia im większą dostępność,
niezależność i pomoc w codziennym życiu. Ten asystent mobilny wykorzystuje technologię, aby oferować szeroką gamę funkcji dostosowanych do potrzeb osób niedowidzących. Ma to ułatwić im codzienne czynności i ułatwić im uczestnictwo w życiu społecznym.
Ta aplikacja na Androida zawiera funkcje takie jak wykrywanie obiektów, streszczanie dokumentów, tryb czytania, wykrywanie twarzy i skanowanie produktów. Funkcje wykrywania obiektów i podsumowywania dokumentów są tworzone za pomocą interfejsu Gemini API.Funkcja wykrywania obiektów korzysta z modelu Gemini-1.5-Flash, ponieważ jest on szybszy niż model Gemini-1.5-Pro. Aby korzystać z funkcji wykrywania obiektów, użytkownik musi nosić na głowie inteligentną czapkę z wbudowanym modułem kamery z dostępem do Wi-Fi. Zdjęcia zrobione za pomocą tej kamery będą wyświetlane w aplikacji mobilnej i wysyłane do zdalnego interfejsu Gemini API, aby opisane w czasie rzeczywistym obrazy mogły być odczytywane przez ten interfejs. Opis będzie odczytywany lub ogłaszany użytkownikowi za pomocą funkcji konwersji tekstu na mowę, co ułatwia korzystanie z aplikacji osobom niedowidzącym. Ponadto dokumenty podsumowujące(tylko PDF) są tworzone za pomocą modelu Gemini 1.5-pro. Aby korzystać z tej funkcji, użytkownik musi wybrać dokument PDF znajdujący się w pamięci telefonu i ustawić tekst promptu (np. podsumować dokument PDF w 150 słowach). Gemini API streszcza zawartość tekstową w pliku PDF i ogłasza ją użytkownikowi.