التنقّل بدون مساعدة

وظيفتها

لقد أنشأتُ التطبيق الذي يساعد الأشخاص الذين يعانون من عجز في التنقّل في محيطهم، ويحتوي التطبيق على 3 أوضاع رئيسية هي "وضع التنقّل" الذي يوجّه المستخدم بشأن بيئته، و"وضع المساعد" الذي يساعد المستخدم في طرح أي سؤال محدّد حول محيطه، و"وضع القراءة" الذي يساعد المستخدم في قراءة أي شيء مثل الكتب أو أي لوحة إشارة.
تم استخدام Gemini AI API في ثلاثة ملفات في المشروع ويتم تخصيص كل ملف لكل وضع من الأوضاع المذكورة أعلاه.
لذلك، تلتقط كاميرا الهاتف الجوّال للمستخدم اللقطات/الصور في الوقت الفعلي ثم ترسلها إلى مربّع إدخال Gemini، ثم ينشئ Gemini طلبات المساعدة كإخراج بعد تدريب كل النماذج، ثم يتم عرض طلبات الإخراج على التراكب، وبعد ذلك وبمساعدة ميزة تحويل النص إلى كلام، يمكن للمكفوفين سماع هذا الصوت والتنقّل بسهولة.