MediAssist

用途

靈感來源：
產業快速成長導致污染增加，進而導致更多健康問題。由於醫師的服務有限，因此讓使用者瞭解健康資訊至關重要。我們的應用程式會提供醫療資訊，協助使用者管理健康狀況。
關於本專案：
MediAssist 的目標是開發醫療應用程式，協助使用者處理小型健康問題。這項服務提供三項主要功能：透過圖像辨識技術辨識藥物、由 Google Gemini API 提供技術支援的 AI 醫師來回答健康問題，以及提供健康任務提醒的月曆。我們如何建構專案：
我們研究了如何將 Gemini 應用於醫學圖像理解和聊天機器人，並透過機器人和人力收集越南醫學資料。我們精修模型，並透過 Few-Shot 提示進行最佳化。
我們的 AI 醫生應用程式使用以 Python 為基礎的 AI 聊天機器人，搭配 Google 生成式 AI 進行模型調整和 RESTful API。Gemini 1.0 Pro 模型會處理來自 React Native 前端的輸入內容。在藥物辨識方面，系統會將圖片轉換為 base64，然後由 Gemini 1.5 Pro 模型進行分析。系統會在資料庫中比對藥物名稱，並將結果傳回前端。使用者可透過「建立日曆」功能設定服藥提醒，並透過 Docker 容器化後端服務管理通知。所有元件皆是使用 React Native 建構，並與推播通知整合。