Vision Crafters

Funktion

Ziel:
Unsere mobile App unterstützt sehbehinderte Menschen dabei, ihre Umgebung besser zu verstehen. Die App erfasst mit der Kamera des Geräts Bilder oder Videos und verarbeitet sie über die Gemini API, um beschreibenden Text zu generieren, der dann in Sprache umgewandelt wird. Die App bietet außerdem Gestensteuerung für die Foto-/Videoaufnahme und eine Gefahrenerkennung, die in gefährlichen Situationen einen Alarm auslöst.

Gemini-Integration:
Gemini ist ein wesentlicher Bestandteil unserer App und bietet erweiterte Funktionen zur Verarbeitung von Szenen in Text. Sie übersetzt visuelle Daten aus Bildern und Videos in genaue, detaillierte Textbeschreibungen. Gemini eignet sich hervorragend, um komplexe Szenen zu erkennen und potenzielle Gefahren zu identifizieren. So erhalten Nutzer präzises und umsetzbares Feedback. Diese Funktion ist entscheidend für eine barrierefreie und informative Darstellung. Daher ist Gemini sowohl für Textbeschreibungen als auch für die Gefahrenerkennung unerlässlich. Außerdem wird Gemini verwendet, um Titel für Interaktionsprotokolle zu generieren.

Funktionen:
– Szenen-zu-Text-Verarbeitung mit Gemini.
– Text-zu-Sprache-, Sprach-zu-Text- und Gestensteuerung für Barrierefreiheit.
– Gemini-basierte Gefahrenerkennung und -warnungen.
– Interaktionsprotokolle mit von Gemini generierten Titeln.

Endnutzer:
Entwickelt für sehbehinderte Personen und ihre Betreuer.

Vorteile:
– Verbessertes Verständnis der Umgebung durch Audio.
– Mehr Sicherheit durch Gefahrenwarnungen.
– Mehr Unabhängigkeit und einfacher Zugriff auf Protokolle.