ViddyScribe

תיאור

לפי Google, יש יותר מ-14 מיליארד סרטונים ב-YouTube שגלויים לכולם, אבל רק לחלק קטן מהם יש גישה לאנשים עם לקויות ראייה. לפי ארגון הבריאות העולמי, לפחות 2.2 מיליארד אנשים ברחבי העולם סובלים מנכות ראייה למרחק קצר או ארוך, ולכן הם לא יכולים ליהנות באופן מלא מהמאגר העצום של תוכן הווידאו בפלטפורמות הווידאו המובילות בעולם.

תיאור אודיו הוא שיטה ותיקה בטלוויזיה ובקולנוע, והוא נחשב לפתרון שמאפשר לקהילה של עיוורים ואנשים עם לקות ראייה לצרוך תוכן מבוסס-ווידאו וליהנות ממנו... עם זאת, התהליך של הוספת תיאור אודיו לסרטונים אורך זמן רב ומורכב, והעלות שלו גבוהה, ולכן תיאור האודיו לא מגיע לקהל הרחב באמצעות סרטונים מבוססי-אינטרנט שנוצרו באופן עצמאי.

הפתרון הוא ViddyScribe: פלטפורמת אינטרנט שבה יוצרים של סרטונים יכולים להעלות את הסרטונים שלהם ולקבל אותם חזרה במהירות עם תיאור אודיו מלא, כדי שאפשר יהיה לשתף את הסרטונים עם הקהילה של העיוורים וליהנות מהם.

ה-API של Gemini משמש לניתוח הסרטון שהמשתמש העלאה וליצירת תיאורי אודיו עם חותמת זמן שמבוססים על ההקשר לכל קטע משמעותי בסרטון. לאחר מכן, התיאורים הקוליים מומרים לדיבור וממוקמים בחותמות הזמן, בזמן שאנחנו מוסיפים פריימים קפואים, מעברים חלקים בין קטעי אודיו וסאונד מותאם אישית לרקע כדי ליצור חוויית האזנה נעימה.

האפליקציה ViddyScribe נוצרה על ידי שני מתנדבים לעיוורים שיש להם רקע בצילום וידאו ובפתרונות משמעותיים. המטרה של ViddyScribe היא להפוך את כל הסרטונים לזמינים לכולם.