MediAssist

Działanie

Inspiracja:
gwałtowny rozwój przemysłu zwiększył zanieczyszczenie, co doprowadziło do wzrostu liczby problemów zdrowotnych. Ze względu na ograniczony dostęp do lekarzy ważne jest, aby ludzie byli dobrze poinformowani o swoim zdrowiu. Nasza aplikacja pomaga użytkownikom dbać o zdrowie, dostarczając informacji medycznych.
Informacje o projekcie:
Celem MediAssist jest stworzenie aplikacji medycznej, która pomoże użytkownikom radzić sobie z niepoważnymi problemami zdrowotnymi. Oferuje 3 kluczowe funkcje: identyfikację leków dzięki rozpoznawaniu obrazu, lekarza AI korzystającego z interfejsu Gemini API od Google do odpowiadania na pytania dotyczące zdrowia oraz kalendarz z przypominaniami dotyczącymi zadań związanych ze zdrowiem. Jak tworzymy nasz projekt:
przeanalizowaliśmy zastosowanie Gemini do rozpoznawania obrazów medycznych i botów, a także zebraliśmy dane medyczne w języku wietnamskim, korzystając z botów i ludzkich pracowników. Dostroiliśmy model i zoptymalizowaliśmy go za pomocą promptów typu „few-shot”.
Nasza aplikacja z AI do konsultacji medycznych korzysta z opartego na Pythonie chatbota AI, który wykorzystuje generatywną AI od Google do dostrojenia modelu i interfejsy REST API. Model Gemini 1.0 Pro przetwarza dane wejściowe z front-endu React Native. W przypadku identyfikacji leków obrazy są konwertowane na format base64 i analizowane przez model Gemini 1.5 Pro. Nazwy leków są dopasowywane w naszej bazie danych, a wyniki są wysyłane z powrotem do interfejsu. Funkcja tworzenia kalendarza umożliwia użytkownikom ustawianie przypomnień o przyjmowaniu leków. Powiadomienia są zarządzane przez usługi backendowe w kontenerach Dockera. Wszystkie komponenty są tworzone za pomocą React Native i integrowane z powiadomieniami push.