VISION_AI

תיאור

Vision_AI היא מערכת הדרכה מבוססת-AI שנועדה לספק לאנשים עיוורים משוב אודיו והוראות בזמן אמת על סמך הסביבה והצרכים שלהם. המערכת משתמשת ב-AI גנרטיבי ובראייה ממוחשבת מתקדמים כדי לצלם ולעבד תמונות וצלילים מהסביבה, וכך לספק עזרה מקיפה. התהליך האוטומטי כולל זיהוי מכשולים והימנעות מהם בזמן אמת, ושילוב עם מכשירים לבישים, ומאפשר לאנשים עיוורים לנוע באופן עצמאי ובטוח ולגשת למידע ולשירותים בקלות רבה יותר. סטאק הטכנולוגיות:
- **AI גנרטיבי (GEMINI) לעיבוד תמונות**
- **HTML/CSS**
- **ממשק API לחישת עומק, ממשקי API לזיהוי דיבור, ספריות להמרת טקסט לדיבור**
- **Firebase**
- **שילוב עם מקל עיוור באמצעות מודול ESP32**
- **שילוב עם משקפיים חכמים**
**איך השתמשנו ב-Gemini API:‏
ממשק ה-Gemini API מאפשר סטרימינג רציף של נתוני חיישנים מהמודולים של ה-LiDAR והמצלמה ליחידת העיבוד של ה-AI. כך תמיד תהיה ל-VISION_AI גישה למידע הסביבתי העדכני ביותר, וכך ניתן יהיה לבצע ניתוח ותגובה בזמן אמת.
באמצעות Gemini API, VISION_AI משלב בצורה חלקה את ה-AI הגנרטיבי של Google לזיהוי אובייקטים ולתיאור סצנות. ממשק Gemini API מספק פונקציות חיוניות לעיבוד תמונות, כמו צילום תמונות, עיבוד מקדים וחילוץ תכונות
מנגנוני משוב:
בעזרת היכולות של Gemini API, VISION_AI מספק למשתמש משוב קולי ומשוב מישוש מיידי.