SmartVision

תיאור

SmartVision היא אפליקציה לנייד שמספקת למשתמשים עם לקות ראייה
נגישות משופרת,
עצמאות ועזרה בחיי היום יום. העוזרת הניידת הזו משתמשת בטכנולוגיה כדי להציע מגוון רחב של תכונות ופונקציות שמותאמות לצרכים של אנשים עם לקות ראייה, במטרה להקל עליהם לבצע משימות יומיומיות ולאפשר להם להשתתף יותר בחברה.
באפליקציה ל-Android יש תכונות כמו זיהוי אובייקטים, סיכום מסמכים, מצב קריאה, זיהוי פנים וסריקה של מוצרים. התכונות 'זיהוי אובייקטים' ו'סיכום מסמכים' נוצרו באמצעות Gemini API.התכונה 'זיהוי אובייקטים' משתמשת במודל Gemini-1.5-Flash, כי הוא מהיר יותר בהשוואה ל-Gemini-1.5-Pro. כדי להשתמש בתכונה 'זיהוי אובייקטים', המשתמש צריך לחבוש כובע חכם עם מודול מצלמה עם חיבור Wi-Fi. התמונות שצולמו מהמצלמה הזו יוצגו באפליקציה לנייד ויישלחו ל-Gemini API המרוחק לצורך תיאור התמונה שצולמה בזמן אמת על ידי Gemini API. התיאורים יקראו או יושמעו למשתמש באמצעות התכונה 'טקסט לדיבור' לנוחות המשתמש עם לקות ראייה. בנוסף, המסמכים המסכמים(קובצי PDF בלבד) נוצרים באמצעות המודל Gemini-1.5-pro. כדי להשתמש בתכונה הזו, המשתמש צריך לבחור קובץ PDF שנמצא בזיכרון הטלפון ולהגדיר טקסט של הנחיה (למשל, סיכום של קובץ ה-PDF ב-150 מילים). Gemini API יסכם את תוכן הטקסט שנמצא בקובץ ה-PDF ויקריא אותו למשתמש.