Project Stargate

תיאור

Project Stargate הוא אפליקציית AI שמייצגת אב טיפוס מוקדם של מערכת הערכה אוטומטית (או פשוט משחק ציור/ניחושים מהנה!). בשלב הזה, ב-Stargate נעשה שימוש במודל Gemini כדי לדמות את התפקיד של המנטור בסשן צפייה מרחוק – המנטור בסשן צפייה מרחוק מנחה את הצופה במהלך הסשן, ומנסה לעודד אותו להישאר על קו האות ולתאר בפירוט רב יותר את התמונות שמגיעות אליו. אנחנו משתמשים ב-Gemini גם כדי ליהנות מהיתרונות של זיהוי מודלים שונים, כולל נתוני סקיצות שבדרך כלל מנהלי התוכנית בסשן צפייה מרחוק מנתחים אחרי הסשן. האוטומציה הזו מעניקה למעקב ה-AI (Gemini) 'עיניים' כדי לראות מה הצופה מצייר בזמן מסוים ואיך הסקיצות האלה עשויים להתייחס לתמונה ברורה יותר של מיקום או אובייקט שייאספו במהלך הסשן. האפליקציה נהנית גם מהשימוש במודל Imagen 2 ליצירת מודלים פעילים של היעד הפוטנציאלי לצפייה מרחוק על סמך הפרטים שסופקו בשיחה ובשרטוטים (כלומר, גם מי שלא יודע לצייר כמוני יכול ליהנות מתהליך של סשן צפייה מרחוק!). כבר הנחנו יסודות ראשוניים לשילוב של מערכת יצירת מודלים משופרת לאחזור בתוך צ'אטבוט, ואני מפתחת מנהל רשומות של שרשרת שפה ב-Firestore (בקשת העריכה נמצאת בטיפול). מנהל הרשומות הזה יאפשר לנו לנצל את מלוא היתרונות של Firestore לניהול מסמכים עבור צ'אטבוט Gemini ליצירת מודלים משופרת לאחזור. תיאור העבודה העתידית במאגר