YouTube AI 学習アプリ

機能

React Native で開発したアプリでは、YouTube 動画に関するクイズを作成したり、動画の文字起こしコンテンツとチャットしたりできます。また、インテリジェントな要約を生成して、クリックしてさまざまなポイントを再生できます。

インテリジェントな要約には Gemini を使用しました。MM:SS のタイムスタンプを含む文字起こしを受け入れることができるプロンプトを作成しました。ここで、Gemini から返される JSON スキーマを定義しました。非常に信頼性が高く、開発した React Native アプリでこの想定される出力を解析できました。アプリの YouTube プレーヤーで正しい時間にシークするために、ポイントで MM:SS タイムスタンプを使用しました。Gemini の長いコンテキスト ウィンドウが重要でした。5 時間の動画文字起こしも問題なく処理できます

Q&A 画面でも、さまざまなプロンプトと JSON スキーマを試した結果、多肢選択式の質問と回答に落ち着きました。この質問と回答では、Gemini も正解を返します。この JSON レスポンスを使用して、動画の文字起こしに基づいてインタラクティブな多肢選択式の質問を作成できました。Gemini では、また、Q&A の件数に応じた更新も実装しました。

最後に、動画の文字起こしとチャットしたり、動画を学習しながら疑問点などを質問したりできるチャット画面タブを実装しました。これには、Gemini にすでに存在する強力な知識と、動画の文字起こしのコンテキストが活用されています。

Firebase Hosting、関数、データベースも使用されています。