Radiolog

Działanie

Aplikacja jest aplikacją mobilną .Ta funkcjonalność jest osiągana dzięki integracji zaawansowanych funkcji multimodalnych, w tym transformacji wizualnej na potrzeby analizy obrazu i dużego modelu językowego (LLM) na potrzeby generowania raportów. Aplikacja została opracowana natywnie na Androida przy użyciu Jetpack Compose do projektowania interfejsu użytkownika, Firebase do uwierzytelniania i Firestore do zarządzania bazą danych.
Aplikacja korzysta z interfejsu Gemini API do obsługi funkcji generowania treści przez chatbota. Obiekt GeminiData zarządza interakcją z Gemini API. Zawiera on 2 podstawowe metody: getResponse i getResponseWithImage.
getResponse: ta metoda przyjmuje prompt tekstowy oraz opcjonalnie identyfikator rozmowy i znak czasu. Do generowania odpowiedzi tekstowych używa modelu „gemini-pro”. Metoda uruchamia wywołanie interfejsu API w wątku tła za pomocą metody withContext(Dispatchers.IO), aby zapewnić płynne działanie interfejsu użytkownika. Zwraca obiekt Chat zawierający tekst odpowiedzi lub komunikat o błędzie, jeśli wywołanie interfejsu API się nie powiedzie.
getResponseWithImage: ta metoda jest podobna, ale obsługuje też dane obrazu. Wymaga on promptu tekstowego, obrazu (w formacie Bitmap) oraz opcjonalnie identyfikatora rozmowy i znaku czasowego. Korzystając z modelu „gemini-pro-vision”, łączy dane tekstowe i obrazowe, aby wygenerować odpowiedź. Metoda tworzy treść wejściową za pomocą podanego obrazu i tekstu, wywołuje interfejs API w wątku w tle i zwraca obiekt Chat z odpowiedzią lub komunikatem o błędzie.