YouTube AI 学习应用

作用

我使用 React Native 开发了一款应用，可让您对 YouTube 视频进行自测、与视频转写内容聊天，并提供智能摘要，您可以点击并在不同时间点播放。

我使用 Gemini 生成智能摘要，方法是创建一个接受包含 MM:SS 时间戳的转写内容的提示。在这里，我定义了预期从 gemini 返回的 JSON 架构。事实证明，它非常可靠，能够在我们开发的 React Native 应用中解析此预期输出，并使用这些 MM:SS 时间戳在应用的 YouTube 播放器中跳转到正确的时间点。Gemini 长时间上下文窗口至关重要。它可以轻松处理 5 小时的视频转写内容

同样，对于问答界面，在尝试了不同的提示和 JSON 架构后，我最终选择了多选题，Gemini 也能正确回答。接下来，我可以使用此 JSON 响应，完全基于视频的转写内容构建互动式多项选择题。如果使用 Gemini，这将并非易事。还实现了针对不同数量的问答进行刷新的功能。

最后，实现了一个聊天界面标签页，我们可以在其中与视频转写内容聊天，并在观看视频并尝试了解更多信息时提出任何问题。这利用了 Gemini 中现有的强大知识以及视频转写内容的上下文。

我们还使用了 Firebase Hosting、Functions 和数据库。