YouTube AI 研究應用程式

用途

我以 React Native 開發的應用程式可讓您針對 YouTube 影片進行測驗，與影片轉錄內容對話，並提供智慧摘要，讓您點選並播放不同點。

Gemini 可用於智慧摘要，方法是建立可接受含有 MM:SS 時間戳記的轉錄稿的提示。我在此定義了預期從 Gemini 傳回的 JSON 結構定義。結果證明，這個方法非常可靠，而且能夠在開發的 React Native 應用程式中剖析這個預期輸出內容，並在應用程式中的 YouTube 播放器中，使用這些 MM:SS 時間戳記尋找正確的時間點。Gemini 的長脈絡窗口非常重要。它可以輕鬆處理 5 小時的影片逐字稿

同樣地，在嘗試過各種提示和 JSON 結構定義後，我決定使用選擇題和答案，Gemini 也能正確回覆答案。從這裡，我可以使用這個 JSON 回應，根據影片的轉錄稿來建立互動式選擇題。這在 Gemini 中並不容易。也實作了可針對不同問答數量進行重新整理的功能。

最後，我們實作了聊天畫面分頁，讓我們可以與影片轉錄稿對話，並在觀看影片時提出任何問題，以便進一步瞭解內容。這項功能可運用 Gemini 現有的強大知識，以及影片逐字稿的背景資訊。

我們也使用了 Firebase 託管、函式和資料庫。