ناوبری کور

کاری که انجام می دهد

من برنامه‌ای را ساخته‌ام که به افراد آسیب‌دیده کمک می‌کند تا در اطراف خود حرکت کنند، برنامه دارای 3 حالت اصلی "حالت پیمایش" است که کاربر را در مورد محیط خود راهنمایی می‌کند، "حالت دستیار" که به کاربر کمک می‌کند هر چیز خاصی را در مورد اطراف خود بپرسد و در نهایت "حالت خواندن" است که به کاربر کمک می‌کند هر چیزی مانند کتاب یا هر علامتی را بخواند.
Gemini AI API در سه فایل در پروژه استفاده شده است و هر فایل به هر حالت فوق اختصاص داده شده است.
بنابراین، دوربین تلفن همراه کاربر، فریم‌های زمانی/تصاویر زنده را می‌گیرد و سپس به کادر ورودی Gemini ارسال می‌کند و سپس Gemini آن را به عنوان خروجی ایجاد می‌کند، همانطور که هر مدل آموزش داده می‌شود و سپس اعلان‌های خروجی روی پوشش نمایش داده می‌شود و سپس با کمک TTS (متن به گفتار) فرد نابینا می‌تواند آن صدا را بشنود و به راحتی می‌تواند حرکت کند.