Moonect

Działanie

Aplikacja umożliwia użytkownikom zrobienie zdjęcia telefonem, które jest następnie wysyłane do Gemini API w celu analizy. Interfejs API wykrywa różne obiekty na obrazie i zwraca listę odpowiednich rzeczy na zdjęciu. Użytkownicy wybierają słowo kluczowe z tej listy, co powoduje ich natychmiastowe połączenie z globalnym czatem grupowym, na którym inni użytkownicy omawiają ten sam temat. Użytkownicy mogą też rozmawiać z AI na wybrany temat, co ułatwia im naukę i ułatwia nawiązywanie kontaktów z otoczeniem. Ta funkcja zapewnia też ulgę osobom, które czują się samotne lub potrzebują pozytywnego odwrócenia uwagi. Jest ona inspirowana koncepcjami z książki „The Power of Now” i bardzo pomaga w zmniejszaniu lęku przed kontaktami społecznymi.

Potencjał tej aplikacji jest ogromny. Możemy na przykład nawiązać współpracę z markami takimi jak Coca-Cola, aby użytkownicy mogli robić zdjęcia produktów i dołączać do specjalnych czatów grupowych oraz korzystać z wyjątkowych ofert. Przyjaciele mogliby używać tajnego obiektu jako hasła do tworzenia grup prywatnych. Jest też wiele innych możliwości.

Do analizy obrazu i funkcji czatu AI wykorzystałem model Gemini 1.5-Flash, ponieważ jest on lekki i zapewnia dokładne odpowiedzi w przypadku tej wersji minimalnej. Aby zapewnić bezpieczeństwo i odpowiednie treści, wdrożyliśmy filtry korzystające z funkcji HarmCategory udostępnianej przez interfejs Gemini API. Czat jest przechowywany w Firestore w Firebase, a do logowania Google używamy też funkcji Logowanie Google w Firebase Authentications.