SmartVision

Funktion

SmartVision ist ein mobiler Assistent für sehbehinderte Nutzer,der ihnen mehr Barrierefreiheit, Unabhängigkeit und Unterstützung im Alltag bietet.

Dieser mobile Assistent nutzt die Technologie, um eine breite Palette von Funktionen anzubieten, die auf die Bedürfnisse sehbehinderter Menschen zugeschnitten sind. Ziel ist es, ihre täglichen Aufgaben zu erleichtern und ihnen eine größere Teilhabe am gesellschaftlichen Leben zu ermöglichen.
Diese Android-App bietet Funktionen wie „Objekte erkennen“, „Dokumente zusammenfassen“, „Lesemodus“, „Gesichter erkennen“ und „Produkte scannen“. Die Funktionen „Objekt erkennen“ und „Dokumente zusammenfassen“ werden mit der Gemini API erstellt.Insbesondere für die Objekterkennung wird das Gemini-1.5-Flash-Modell verwendet, da es im Vergleich zum Gemini-1.5-Pro-Modell schneller ist. Um die Funktion „Objekte erkennen“ zu verwenden, muss der Nutzer eine Smart Cap mit einem WLAN-fähigen Kameramodul tragen. Die von dieser Kamera aufgenommenen Bilder werden in der mobilen App angezeigt und an die Remote-Gemini API gesendet, um die in Echtzeit von der Gemini API aufgenommenen Bilder zu beschreiben. Die Beschreibung wird für sehbehinderte Nutzer mithilfe der Sprachausgabefunktion vorgelesen oder angesagt. Außerdem werden die zusammengefassten Dokumente(nur PDF) mit dem Gemini-1.5-Pro-Modell erstellt. Um diese Funktion zu verwenden, muss der Nutzer ein PDF-Dokument auswählen, das sich im Speicher des Smartphones befindet, und einen Prompt-Text festlegen, z. B. um das PDF-Dokument in 150 Wörtern zusammenzufassen. Die Gemini API fasst den Textinhalt der PDF zusammen und liest ihn dem Nutzer vor.