רדיולוג

תיאור

האפליקציה היא אפליקציה לנייד .הפונקציונליות הזו מתקבלת באמצעות שילוב של יכולות מתקדמות של מודלים מרובים, כולל טרנספורמציה של חזון לניתוח תמונות ומודל שפה גדול (LLM) ליצירת דוחות. האפליקציה פותחה באופן מקורי ל-Android באמצעות Jetpack Compose לעיצוב ממשק המשתמש, Firebase לאימות ו-Firestore לניהול מסדי נתונים
באפליקציה, ה-Gemini API משמש ליצירת התוכן של צ'אטבוט. האובייקט GeminiData מנהל את האינטראקציה עם Gemini API. הוא כולל שתי שיטות עיקריות: getResponse ו-getResponseWithImage
getResponse: השיטה הזו מקבלת הנחיה בטקסט, ואפשר גם להוסיף לה מזהה שיחה חותמת זמן. הוא משתמש במודל 'gemini-pro' כדי ליצור תשובה טקסטואלית. כדי להבטיח ביצועים חלקים של ממשק המשתמש, ה-method מפעיל את קריאת ה-API בשרשור רקע באמצעות withContext(Dispatchers.IO). הפונקציה מחזירה אובייקט Chat שמכיל את טקסט התגובה, או הודעת שגיאה אם קריאת ה-API נכשלת
getResponseWithImage: השיטה הזו דומה, אבל היא מטפלת גם בנתוני תמונות. הוא מקבל הנחיה בטקסט, תמונה (בפורמט Bitmap) ואפשרות למזהה שיחה וחותמת זמן. באמצעות המודל 'gemini-pro-vision', המערכת משלבת את נתוני הטקסט והתמונה כדי ליצור תשובה. השיטה יוצרת את תוכן הקלט באמצעות התמונה והטקסט שסופקו, מבצעת את קריאת ה-API בשרשור ברקע ומחזירה אובייקט Chat עם התגובה או הודעת השגיאה.