Vision Crafters

Działanie

Cel:
Nasza aplikacja mobilna pomaga osobom niedowidzącym lepiej orientować się w otoczeniu. Za pomocą aparatu urządzenia aplikacja rejestruje obrazy lub filmy i przetwarza je za pomocą interfejsu Gemini API, aby wygenerować tekst opisowy, który następnie jest konwertowany na mowę. Aplikacja zawiera też gesty sterujące do robienia zdjęć i filmowania oraz funkcję wykrywania zagrożeń, która ostrzega o niebezpiecznych sytuacjach.

Integracja z Gemini:
Gemini jest integralną częścią naszej aplikacji i zapewnia zaawansowane możliwości przetwarzania obrazu na tekst. Przekształca dane wizualne z obrazów i filmów w dokładne, szczegółowe opisy tekstowe. Gemini doskonale rozpoznaje złożone sceny i potencjalne zagrożenia, zapewniając użytkownikom dokładne i przydatne informacje zwrotne. Ta funkcja jest kluczowa dla tworzenia dostępnych i pełnych informacji treści, dzięki czemu Gemini jest niezbędny zarówno do tworzenia tekstowych opisów, jak i wykrywania zagrożeń. Dodatkowo Gemini służy do generowania tytułów dla dzienników interakcji.

Funkcje:
- Przetwarzanie tekstu na tekst za pomocą Gemini.
- Przekształcanie tekstu w mowę, przekształcanie mowy w tekst i sterowanie gestami na potrzeby dostępności.
- Wykrywanie zagrożeń i ostrzeganie za pomocą Gemini.
- Dzienniki interakcji z tytułami wygenerowanymi przez Gemini.

Użytkownicy:
Użytkownicy niewidomi i ich opiekunowie.

Zalety:
- Lepsze zrozumienie otoczenia dzięki dźwiękowi.
- Większe bezpieczeństwo dzięki alertom o zagrożeniach.
- Większa niezależność i łatwy dostęp do dzienników.