Projekt Stargate

Działanie

Projekt Stargate to aplikacja AI, która jest wczesnym prototypem systemu automatycznej oceny (lub po prostu zabawną grą polegającą na rysowaniu i zgadywaniu). Obecnie Stargate wykorzystuje model Gemini do symulowania roli monitora podczas sesji zdalnego oglądania. Podczas sesji zdalnego oglądania monitor prowadzi widza przez sesję, starając się, aby ten nie tracił sygnału i bardziej szczegółowo opisywał obrazy. Gemini wykorzystuje też pełne zalety multimodalne, w tym dane dotyczące szkiców, które zwykle są analizowane przez program monitorujący w ramach sesji zdalnego wyświetlania po zakończeniu sesji. Ta automatyzacja daje sztucznej inteligencji monitorującej (Gemini) „oczy”, dzięki którym może ona zobaczyć, co widz rysuje w danym momencie, i jak te szkice mogą się odnosić do wyraźniejszego obrazu lokalizacji lub obiektu, który zostanie zebrany w trakcie sesji. Aplikacja korzysta też z modelu Imagen 2 do generowania na żywo modeli potencjalnego celu zdalnego przeglądania na podstawie szczegółów podanych w rozmowie i szkicach (co oznacza, że nawet osoby, które nie potrafią dobrze rysować, mogą korzystać z sesji zdalnego przeglądania). Wstępne prace nad integracją systemu wspomaganego generowania w ramach chatbota zostały już wykonane. Opracowałem też menedżera rekordów Firestore Langchain (w trakcie jest PR). Pozwoli nam to w pełni wykorzystać Firestore do zarządzania dokumentami w ramach chatbota Gemini wspomaganego generowania w ramach wyszukiwania. przyszłe działania opisane w repozytorium;