TwilightNav
לעזור לאנשים עם ליקוי ראייה לנווט באינטרנט.
תיאור
האפליקציה משתמשת ב-Gemini API כדי לשפר את האינטראקציה של המשתמשים באמצעות שתי פונקציות מפתח:
ניתוח תוכן ויצירת מבנה: Gemini API מנתח את פורמט ה-HTML של דף אינטרנט וממיר אותו למבנה עץ היררכי. במבנה הזה, כל צומת מייצג אלמנט תוכן ספציפי, שמכיל גם תיאור של אותו אלמנט וגם סיכום של רכיבי הצאצא שלו. המבנה הזה מאפשר עיבוד יעיל של תוכן דפי אינטרנט והבנה שלו.
זיהוי כוונות ניווט: ל-Gemini API יש תפקיד חשוב גם בהבנת ההוראות של המשתמשים. הוא מעבד את הקלט הקולי כדי לזהות את כוונת המשתמש ומזהה את צומת היעד התואם במבנה העץ. ה-API מסווג את פקודות המשתמשים לשש כוונות: ניווט לאתר, סיכום, קריאת תוכן, שליחת שאילתות למידע, לחיצה על רכיבים ומילוי טפסים.
באמצעות היכולות האלה, האפליקציה מאפשרת למשתמשים לבצע מגוון משימות מבוססות-אינטרנט באמצעות פקודות קוליות וביצוע תנועות, וכך חוויית הגלישה הופכת לנגישה ואינטואיטיבית יותר.
מבוסס על
- Android
קבוצה
על ידי
TwilightNav
מאת
אוסטרליה