Blind Nav

Działanie

Stworzyłem aplikację, która pomaga osobom z niepełnosprawnością poruszać się w otoczeniu. Aplikacja ma 3 główne tryby: „Tryb nawigacji”, który informuje użytkownika o otoczeniu, „Tryb asystenta”, który pomaga użytkownikowi zapytać o coś konkretnego w otoczeniu, oraz „Tryb czytania”, który pomaga użytkownikowi czytać książki lub tablice informacyjne.
W ramach projektu wykorzystano interfejs Gemini AI API w 3 plikach, a każdy plik przypisano do jednego z wymienionych trybów.
Kamera w telefonie komórkowym użytkownika rejestruje w czasie rzeczywistym klatki lub obrazy, a następnie przesyła je do pola wejściowego Gemini. Gemini tworzy prompty wyjściowe, ponieważ modele są trenowane, a prompty wyjściowe są wyświetlane na nakładce. Następnie za pomocą TTS (Text to Speech) niewidomy może usłyszeć głos i łatwo się poruszać.