Слепая навигация

Что он делает

Я создал приложение, которое помогает людям с ограниченными возможностями ориентироваться в окружающей среде. Приложение имеет 3 основных режима: «Режим навигации», который помогает пользователю ориентироваться в окружающей среде, «Режим помощника», который помогает пользователю задавать любые конкретные вопросы об окружающей среде, и, наконец, «Режим чтения», который помогает пользователю читать что угодно, например, книги или вывески.
API Gemini AI используется в трех файлах проекта, и каждый файл назначен каждому из указанных выше режимов.
Итак, камера мобильного телефона пользователя захватывает кадры/изображения в реальном времени, а затем отправляет их в поле ввода Gemini, после чего Gemini создает подсказки в качестве выходных данных по мере обучения каждой модели, а затем выходные подсказки отображаются на наложении, а затем с помощью TTS (преобразование текста в речь) незрячий человек может слышать этот голос и легко ориентироваться.