SmartVision

وظيفتها

‫SmartVision هو مساعد جوّال للمستخدمين الذين يعانون من
عجز بصري، ويوفر لهم إمكانية وصول مُحسَّنة و
استقلالية ومساعدة في التنقل في حياتهم اليومية. يستفيد هذا المساعد المتوافق مع الأجهزة الجوّالة من التكنولوجيا لتقديم مجموعة كبيرة من الميزات والوظائف المصمّمة خصيصًا لتلبية احتياجات الأشخاص الذين يعانون من ضعف البصر، وذلك بهدف تسهيل إنجاز المهام اليومية وتعزيز مشاركتهم في المجتمع.
يتضمن تطبيق Android هذا ميزات مثل "رصد الأجسام" و"تلخيص المستندات" و"وضع القراءة" و"رصد الوجوه" و"مسح المنتجات ضوئيًا". تم إنشاء ميزتَي "التعرّف على الأجسام" و"تلخيص المستندات" باستخدام Gemini API.وتستخدم ميزة "التعرّف على الأجسام" على وجه الخصوص نموذج Gemini-1.5-Flash لأنّه أسرع مقارنةً بـ Gemini-1.5-Pro. لاستخدام ميزة "اكتشاف الأجسام"، على المستخدم ارتداء قبعة ذكية تحتوي على وحدة كاميرا مزوّدة بتقنية Wi-Fi. سيتم عرض الصور التي يتم التقاطها من هذه الكاميرا على تطبيق الأجهزة الجوّالة وإرسالها إلى واجهة برمجة التطبيقات Gemini API البعيدة لوصف الصورة التي تم التقاطها في الوقت الفعلي من خلال واجهة برمجة التطبيقات Gemini API، وسيتم قراءة الوصف أو إعلانه للمستخدم باستخدام ميزة تحويل النص إلى كلام لتسهيل الأمر على المستخدم الذي يعاني من ضعف البصر. بالإضافة إلى ذلك، يتم إنشاء ملخّص للمستندات(بتنسيق pdf فقط) باستخدام نموذج Gemini-1.5-pro. لاستخدام هذه الميزة، على المستخدم اختيار مستند pdf في ذاكرة الهاتف وضبط نص طلب (مثلاً تلخيص مستند pdf في 150 كلمة). ستلخّص واجهة برمجة التطبيقات Gemini محتوى النص المتوفّر في ملف pdf وتُعلِن عنه للمستخدم.