แอปการศึกษา AI ของ YouTube

การทำงาน

แอปของฉันที่พัฒนาใน React Native ให้คุณทดสอบตัวเองเกี่ยวกับวิดีโอ YouTube, แชทกับเนื้อหาข้อความถอดเสียงของวิดีโอ และแสดงสรุปอัจฉริยะที่คุณคลิกและเล่นที่จุดต่างๆ ได้

เราใช้ Gemini สำหรับสรุปอัจฉริยะโดยสร้างพรอมต์ที่ยอมรับข้อความถอดเสียงพร้อมการประทับเวลา MM:SS จากตรงนี้ เราได้กําหนดสคีมา JSON ที่คาดหวังจาก Gemini ผลลัพธ์ที่ได้มีความน่าเชื่อถือมากและสามารถแยกวิเคราะห์เอาต์พุตที่คาดไว้นี้ในแอปพลิเคชัน React Native ที่เราพัฒนาขึ้น โดยใช้การประทับเวลา MM:SS เหล่านี้ที่จุดต่างๆ เพื่อกรอไปยังเวลาที่ถูกต้องในโปรแกรมเล่น YouTube บนแอป กรอบเวลาบริบทแบบยาวของ Gemini มีความสำคัญมาก เครื่องมือนี้จัดการข้อความถอดเสียงวิดีโอความยาว 5 ชั่วโมงได้โดยไม่มีปัญหา

สำหรับหน้าจอถามและตอบ เราได้ลองใช้พรอมต์และสคีมา JSON แบบต่างๆ แล้ว และตัดสินใจใช้คำถามแบบหลายตัวเลือกและคำตอบกับ Gemini ซึ่งก็ให้คำตอบที่ถูกต้องเช่นกัน จากตรงนี้ เราสามารถใช้คำตอบ JSON นี้เพื่อสร้างคำถามแบบหลายตัวเลือกแบบอินเทอร์แอกทีฟโดยอิงตามข้อความถอดเสียงของวิดีโอทั้งหมด ซึ่ง Gemini ช่วยให้ดำเนินการนี้ได้ง่ายขึ้น นอกจากนี้ เรายังได้รีเฟรชคำถามและคำตอบต่างๆ ด้วย

สุดท้ายนี้ เรายังได้ติดตั้งแท็บหน้าจอแชทที่เราสามารถแชทกับข้อความถอดเสียงของวิดีโอและถามคำถามใดๆ ที่เราอาจมีขณะดูวิดีโอและพยายามเรียนรู้เพิ่มเติม การดำเนินการนี้ใช้ประโยชน์จากความรู้อันทรงพลังที่มีอยู่แล้วใน Gemini พร้อมกับบริบทของข้อความถอดเสียงวิดีโอ

นอกจากนี้ยังใช้โฮสติ้ง ฟังก์ชัน และฐานข้อมูล Firebase ด้วย