ניווט עיוור

תיאור

פיתחתי אפליקציה שעוזרת לאנשים עם מוגבלויות לנווט בסביבתם. באפליקציה יש 3 מצבים עיקריים: 'מצב ניווט' שמנחה את המשתמש לגבי הסביבה שלו, 'מצב עוזר' שעוזר למשתמש לשאול על דברים ספציפיים בסביבה, ובסוף 'מצב קריאה' שעוזר למשתמש לקרוא דברים כמו ספרים או שלטים.
השתמשתי ב-Gemini AI API בשלושה קבצים בפרויקט, וכל קובץ מוקצה לכל אחד מהמצבים שלמעלה.
המצלמה של הטלפון הנייד של המשתמש מתעדת את התמונות או הפריימים בזמן אמת, ואז שולחת אותם לתיבת הקלט של Gemini. לאחר מכן, Gemini יוצרת את ההנחיות כפלט, כי כל אחד מהמודלים מאומנים. לאחר מכן, ההנחיות בפלט מוצגות בשכבת-העל, ואז בעזרת TTS (טקסט לדיבור), אנשים עיוורים יכולים לשמוע את הקול הזה ולנווט בקלות.