VISION_AI

תיאור

Vision_AI היא מערכת הדרכה מבוססת-AI שנועדה לספק לאנשים עיוורים משוב קולי והוראות בזמן אמת על סמך הסביבה והצרכים שלהם. המערכת משתמשת ב-AI גנרטיבי ובראייה ממוחשבת מתקדמים כדי לצלם ולעבד תמונות וצלילים מהסביבה, וכך לספק עזרה מקיפה. התהליך האוטומטי כולל זיהוי מכשולים והימנעות מהם בזמן אמת, ושילוב עם מכשירים לבישים, ומאפשר לאנשים עיוורים לנוע באופן עצמאי ובטוח ולגשת למידע ולשירותים בקלות רבה יותר. סטאק הטכנולוגיה:
- **AI גנרטיבי (GEMINI) לעיבוד תמונות**
- **HTML/CSS**
- **ממשק API לחישת עומק, ממשקי API לזיהוי דיבור, ספריות להמרת טקסט לדיבור**
- **Firebase**
- **שילוב עם מקל עיוור באמצעות מודול ESP32**
- **שילוב עם משקפיים חכמים**
**איך השתמשנו ב-Gemini API:‏
ממשק ה-API של Gemini מאפשר סטרימינג רציף של נתוני חיישנים מהמודולים של LiDAR ומהמצלמה ליחידת העיבוד של ה-AI. כך תמיד תהיה ל-VISION_AI גישה למידע הסביבתי העדכני ביותר, וכך ניתן יהיה לבצע ניתוח ותגובה בזמן אמת.
באמצעות Gemini API, VISION_AI משלב בצורה חלקה את ה-AI הגנרטיבי של Google לזיהוי אובייקטים ולתיאור סצנות. Gemini API מספק פונקציות חיוניות לעיבוד תמונות, כמו צילום תמונות, עיבוד מקדים וחילוץ תכונות
מנגנוני משוב:
‏VISION_AI משתמש ביכולות של Gemini API כדי לספק למשתמש משוב קולי ומשוב מישוש מיידי.