SmartVision

Ne işe yarar?

SmartVision,görme engelli/sorunu olan kullanıcılara gelişmiş erişilebilirlik, bağımsızlık ve günlük yaşamlarında gezinme konusunda yardım sağlayan bir mobil asistandır.

Bu mobil asistan, teknolojiden yararlanarak görme engelli bireylerin günlük işlerini daha kolay hale getirmeyi ve topluma daha fazla katılım sağlamalarını sağlamayı amaçlayan, ihtiyaçlarına göre uyarlanmış çok çeşitli özellik ve işlevler sunar.
Bu Android uygulamasında Nesneleri Tespit Etme, Dokümanları Özetleme, Okuma Modu, Yüzleri Tespit Etme, Ürünleri Tarama gibi özellikler bulunur. Nesne algılama ve dokümanları özetleme özellikleri Gemini API kullanılarak oluşturulur.Nesne algılama özelliğinde, Gemini-1.5-Pro'ya kıyasla daha hızlı olduğu için özellikle Gemini-1.5-Flash modeli kullanılır. Nesne algılama özelliğini kullanmak için kullanıcının üzerinde kablosuz bağlantı özellikli bir kamera modülü bulunan akıllı bir şapka takması gerekir. Bu kameradan alınan görüntüler mobil uygulamada gösterilir ve Gemini API tarafından gerçek zamanlı olarak çekilen görüntünün tanımlanması için uzaktaki Gemini API'ye gönderilir. Görme engelli kullanıcının rahatlığı için açıklama, metni konuşmaya dönüştürme özelliği kullanılarak okunur veya kullanıcıya duyurulur. Ayrıca, özetlenen dokümanlar(yalnızca PDF) Gemini-1.5-pro modeli kullanılarak oluşturulur. Bu özelliği kullanmak için kullanıcının telefon hafızasında bulunan bir PDF belgesi seçmesi ve bir istem metni belirlemesi gerekir (ör. PDF belgesini 150 kelimeyle özetlemek). Gemini API, PDF'deki metin içeriğini özetler ve kullanıcıya bildirir.