Sport Sage

Funktion

Sport Sage nutzt die Vorteile von Gemini, um kurze Videos zu sportlichen Aktivitäten zu verarbeiten. Wir bitten den Nutzer um kurze Informationen zum Kontext und erstellen dann eine hilfreiche Antwort, um die sportliche Leistung zu verbessern. Die Anwendung richtet sich an Laien und soll als „Rubber Duck“-Hilfe in der Hosentasche dienen. Wir haben eine schnelle Einrichtung und ein Minimum an Feedback priorisiert. Viele Menschen finden KI und LLMs immer noch beängstigend. Deshalb haben wir uns bemüht, so viel Komplexität wie möglich hinter einer einfachen Benutzeroberfläche zu verbergen. Wenn Sie die Fragen, die Sie an Gemini stellen, eingrenzen, kann das Feedback besser eingeordnet und fast sofort verwendet werden.

Die Verarbeitung und das Verständnis des Videos sind in Fällen, in denen das Video klar und ein einzelnes Motiv zeigt, ziemlich gut. Teamsportarten sind etwas schwieriger und führen zu weniger spezifischem Feedback, das aber trotzdem nützlich sein kann.

Nachdem wir mit der API experimentiert hatten, fanden wir die Standardausgabe bei Anfragen mit nur einem oder wenigen Bildern ziemlich gut. Das Team experimentiert mit zusätzlichen Trainingsdaten, die für den von uns erstellten Prototyp jedoch nicht erforderlich waren. Als Nächstes möchten wir die KI des Modells optimieren und Feedback-Streams anbieten.

Für die Entwicklung der Webanwendung haben wir Elixir und Phoenix (mit LiveView) verwendet.