СмартВижн

Что он делает

SmartVision — мобильный помощник для визуального восприятия.
для пользователей с ограниченными возможностями/инвалидов, что обеспечивает им расширенные возможности доступа,
независимость и помощь в навигации в повседневной жизни. Этот мобильный помощник использует технологию, чтобы предложить широкий спектр функций и возможностей, адаптированных к потребностям людей с нарушениями зрения, с целью сделать их повседневные задачи более управляемыми и обеспечить более активное участие в жизни общества.
Это приложение для Android имеет такие функции, как обнаружение объектов, суммирование документов, режим чтения, обнаружение лиц, сканирование продуктов. Функции обнаружения объектов и суммирования документов созданы с использованием API Gemini. В частности, функция обнаружения объектов использует модель Gemini-1.5-Flash, поскольку она быстрее по сравнению с Gemini-1.5-Pro. Чтобы использовать функцию обнаружения объектов, пользователю придется надеть смарт-кепку с модулем камеры с поддержкой WiFi. Изображения, полученные с этой камеры, будут отображаться в мобильном приложении и отправляться на удаленный API Gemini для описания изображения, снятого в реальном времени API Gemini, описание будет зачитываться или объявляться пользователю с использованием функции преобразования текста в речь для удобства пользователей с нарушениями зрения. Кроме того, обобщение документов (только в формате PDF) создано с использованием модели Gemini-1.5-pro. Чтобы использовать эту функцию, пользователю необходимо выбрать PDF-документ, который находится в памяти телефона, и задать текст подсказки (например, краткое изложение PDF-документа в 150 слов). API Gemini обобщит текстовое содержимое PDF-документа и сообщит об этом пользователю.