Accessible Earth

Działanie

To rozszerzenie Google Earth korzysta z interfejsu Gemini API, aby umożliwić podróżowanie po wirtualnym świecie z pomocą AI. Główne funkcje:

Dialog z asystentem AI:
Gemini API umożliwia prowadzenie rozmów w czasie rzeczywistym między użytkownikami a asystentem AI. Dzięki uwzględnieniu danych kontekstowych i lokalizacyjnych interfejs API generuje trafne odpowiedzi na zapytania użytkowników.
Interfejs głosowy:
integruje funkcje rozpoznawania mowy i przekształcania tekstu w mowę, aby umożliwić obsługę bez użycia rąk i zwiększyć zaangażowanie użytkownika.
Funkcje uwzględniające lokalizację:
dane o lokalizacji w czasie rzeczywistym z Google Earth są wysyłane do interfejsu Gemini API, co pozwala AI dostarczać informacje dotyczące lokalizacji i prowadzić rozmowy uwzględniające kontekst.
Inteligentne przemieszczanie:
interfejs Gemini API analizuje żądania użytkownika dotyczące zmian lokalizacji. Używa interfejsu API Geokodowania Map Google do uzyskiwania współrzędnych i odpowiednio aktualizuje wyświetlanie w Google Earth.
Rozpoznawanie obrazu:
rejestruje wyświetlenia w Google Earth i korzysta z interfejsu Gemini API do rozpoznawania obrazu, aby dostarczać szczegółowych informacji o lokalizacji, wzbogacając wyjaśnienia AI o kontekst wizualny.
Doświadczenia spersonalizowane:
preferencje użytkownika i historia konwersacji są wysyłane do interfejsu Gemini API, aby generować spersonalizowane odpowiedzi i rekomendacje.
Treści edukacyjne:
korzysta z interfejsu Gemini API do generowania w czasie rzeczywistym treści edukacyjnych o odwiedzonych miejscach, obejmujących historię, kulturę i geografię.
Przetwarzanie multimodalne:
integruje różne tryby wprowadzania danych (tekst, głos, obrazy) za pomocą interfejsu Gemini API, aby zapewnić wszechstronne doznania podczas dialogu.