Geolingo

Funktion

Unsere App ist ein Tool zum Erstellen von ansprechenden, KI-generierten Sprachlernkarten, mit dem Nutzer mithilfe von Gemini Sprachlernkarten aus von ihnen hochgeladenen Bildern erstellen können. Der Nutzer erstellt ein neues Kartenpaket, fügt Bilder hinzu und Gemini übernimmt den Rest. Das Tool extrahiert den Text und übersetzt ihn, um ein Bild und das entsprechende übersetzte Wortpaar zu erstellen. Nutzer können Gruppen erstellen oder ihnen beitreten und mit geteilten Kartendecks zusammenarbeiten. Nutzer können sich globale Kartenpakete ansehen, die von der Geolingo-Community beigesteuert wurden, indem sie die Markierungen auf der Karte auswählen. Nutzer können mit Geolingo auch ihren Reiseplan erstellen. Auf einer interaktiven Karte wird ihnen visuell angezeigt, wo sich die Orte befinden, einschließlich wichtiger Einrichtungen wie Kliniken, Fitnessstudios und Restaurants in der Nähe des eingegebenen Ziels.

1) Mit den multimodalen Funktionen von Gemini Flash wurden zuerst die Texte im Bild extrahiert, unabhängig von der Sprache. Gemini Flash wurde dann noch einmal verwendet, um den extrahierten Text zu übersetzen. So entstand ein Bild-Wort-Paar, das in Firestore gespeichert wird. Die gesamte App wurde nur durch das NoSQL-Format von Firebase Firestore ermöglicht.

2) Gemini erstellt zuerst den (KI-)Reiseplan im Markdown-Format anhand von Systemprompts und verarbeitet das Ergebnis dann noch einmal, um die im Reiseplan genannten Orte zu extrahieren. Wir verwenden die Geocoding API und die Places API von Google Cloud(Maps), um die Markierungen auf der interaktiven Karte dynamisch anzuzeigen, die den im Reiseplan genannten Orten entsprechen. Das ist ein sehr umfassendes Angebot.