YouTube-KI-Test-App

Funktion

Mit meiner App, die in React Native entwickelt wurde, können Sie sich Quizze zu YouTube-Videos stellen, mit dem Videotranskript chatten und sich eine intelligente Zusammenfassung anzeigen lassen, bei der Sie an verschiedenen Stellen klicken und die Wiedergabe starten können.

Für die intelligente Zusammenfassung wurde Gemini verwendet. Dazu wurde ein Prompt erstellt, der ein Transkript mit Zeitstempeln im Format MM:SS akzeptiert. Daraufhin habe ich ein JSON-Schema definiert, das ich von Gemini erwarte. Es erwies sich als sehr zuverlässig und ich konnte diese erwartete Ausgabe in der von mir entwickelten React Native-Anwendung parsen. Dabei wurden diese Zeitstempel in MM:SS verwendet, um im YouTube-Player der App zur richtigen Zeit zu springen. Das lange Kontextfenster von Gemini war entscheidend. Es konnte problemlos 5 Stunden Videotranskript verarbeiten.

Für den Bildschirm mit Fragen und Antworten habe ich nach dem Experimentieren mit verschiedenen Prompts und JSON-Schemas ebenfalls eine Multiple-Choice-Frage und -Antwort ausgewählt. Auch hier gab Gemini die richtige Antwort zurück. Anhand dieser JSON-Antwort konnte ich eine interaktive Multiple-Choice-Frage erstellen, die vollständig auf dem Transkript des Videos basiert. Das wäre mit Gemini nicht einfach gewesen. Außerdem haben wir eine Funktion zum Aktualisieren der Anzahl der Fragen und Antworten implementiert.

Zuletzt haben wir einen Chatbildschirm implementiert, in dem wir mit dem Videotranskript chatten und Fragen stellen können, die uns beim Ansehen des Videos auffallen und die wir uns genauer ansehen möchten. Dabei wurde das bereits vorhandene Wissen von Gemini in Kombination mit dem Kontext des Videotranskripts genutzt.

Außerdem wurden Firebase-Hosting, ‑Funktionen und ‑Datenbank verwendet.