אפליקציית המחקר של YouTube AI

תיאור

האפליקציה שלי, שפותחה ב-React Native, מאפשרת לכם לבדוק את עצמכם באמצעות סרטונים ב-YouTube, להתכתב בצ'אט עם תוכן תמליל הסרטון ולקבל סיכום חכם שבו אפשר ללחוץ ולהפעיל בנקודות שונות.

השתמשתי ב-Gemini ליצירת הסיכום החכם על ידי יצירת הנחיה שמקבלת תמליל עם חותמות זמן מסוג MM:SS. לאחר מכן הגדרתי סכימה של JSON שאצפה לקבל בחזרה מ-Gemini. התברר שהיא אמינה מאוד והצלחתי לנתח את הפלט הצפוי הזה באפליקציית React Native שפיתחתי, באמצעות חותמות הזמן MM:SS האלה בנקודות מסוימות כדי לדלג לשעה הנכונה בנגן YouTube באפליקציה. חלון ההקשר הארוך של Gemini היה חיוני. הוא יכול לטפל בקלות ב-5 שעות של תמליל וידאו

בדומה, במסך השאלות והתשובות, אחרי שניסיתי הנחיות שונות וסכימות JSON, בחרתי בשאלה עם תשובות מרובות ובתשובה עם Gemini, והוא גם החזיר את התשובה הנכונה. מכאן הצלחתי להשתמש בתשובה הזו בפורמט JSON כדי ליצור שאלה אמריקאית אינטראקטיבית שמבוססת לגמרי על תמליל הסרטון. זה לא היה קל לעשות זאת עם Gemini. הוספנו גם אפשרות לרענון של מספר שונה של שאלות ותשובות.

לבסוף, הוספנו כרטיסייה של מסך צ'אט שבה אפשר להתכתב עם תמליל הסרטון ולשאול כל שאלה שעשויה להתעורר במהלך הצפייה בסרטון והניסיון ללמוד עוד. כך השתמשו בידע העצום שכבר קיים ב-Gemini, יחד עם ההקשר של תמליל הסרטון.

נעשה שימוש גם באירוח, בפונקציות ובמסד הנתונים של Firebase.