Geolingo

Działanie

Nasza aplikacja to narzędzie do tworzenia fiszek językowych generowanych przez AI, które korzysta z Gemini do tworzenia fiszek językowych na podstawie obrazów przesłanych przez użytkownika. Użytkownik tworzy nowy zestaw kart, dodaje obrazy, a Gemini wyodrębnia tekst i tłumaczy go, tworząc w ten sposób obraz i jego przetłumaczone słowo. Użytkownik może tworzyć grupy lub do nich dołączać, współpracując przy wspólnych taliach kart. Użytkownik może wyświetlić globalne zestawy kart udostępnione przez społeczność Geolingo, wybierając znaczniki na mapie. Użytkownik może też zaplanować plan podróży za pomocą Geolingo, a interaktywna mapa pomoże mu wizualnie zlokalizować miejsca, w tym ważne udogodnienia, takie jak klinika, siłownia czy restauracje w pobliżu wpisanego miejsca docelowego.

1) Aby wyodrębnić tekst z podanych obrazów niezależnie od języka, wykorzystano multimodalne możliwości Gemini Flash. Następnie użyto narzędzia Gemini Flash do przetłumaczenia wyodrębnionego tekstu, tworząc parę obraz–słowo, która jest przechowywana w Firestore. Cała aplikacja została stworzona tylko dzięki formatowi NoSQL w Firestore w Firebase.

2) Gemini najpierw utworzy plan podróży (AI) w formacie Markdown, korzystając z promptów systemu, a potem przetworzy wynik ponownie, aby wyodrębnić miejsca wymienione w planie. Korzystamy z interfejsu Geo-Coding i Places API z Google Cloud Platform(Mapy), aby dynamicznie wyświetlać na interaktywnej mapie znaczniki odpowiadające lokalizacjom wymienionym w planie podróży. Dzięki temu możesz korzystać z pełniej funkcjonalności.