שימוש יעיל באפליקציית ARCore

Everies

סריקת האובייקטים שמסביבכם והפיכתם לדמויות אינטראקטיביות, ייחודיות וחמודות

תיאור

אפליקציית everies, שמבוססת על טכנולוגיית Gemini, מאפשרת לחפצים בסביבה שלכם להתעורר לחיים באמצעות דמויות ייחודיות, שובבות ואינטראקטיביות שנקראות 'everies'. פשוט סורקים את האובייקטים בסביבה באמצעות המצלמה, והעיניים של Everies יופיעו על האובייקטים.
לחיצה על העיניים האלה יוצרת דמות עם אופי, מראה, דיאלוג וקול ייחודיים, שמותאמים לאובייקט, לסביבה ולהקשר הספציפיים. אפשר גם להקיש על אובייקט כלשהו וליצור את כל התווים של Everies, גם אם העין לא מופיעה בהתחלה.
כל דמות יכולה לנהל שיחה מתמשכת באמצעות הקלט הקול שלכם, וכך לשפר את האינטראקציה. אתם יכולים גם לשמור את ה-everies האהובים עליכם ואת הסצנות המיוחדות.

היכולת הייחודית של everies להפוך 'הכול' לדמויות אינטראקטיביות וחברותיות היא תכונה בולטת של טכנולוגיית LLM, שמפשטת את החוויה ומאפשרת להשתמש בה בקלות רבה יותר. התהליך מתבצע באופן אוטומטי על ידי Gemini API, עם זיהוי אובייקטים שמבוסס על TensorFlow Lite ויצירת תווים באמצעות קובצי JSON. מיקום העיניים נקבע במהירות גבוהה של פריימים באמצעות זיהוי אובייקטים במכשיר בשילוב עם AR. ARCore ממקם את העיניים והפנים של הדמויות, בעוד שהזיהוי במסגרת פריימים גבוהה וה-LLM הרב-מודאלי (Gemini) מבטיחים תשובות מהירות וחוויה איכותית.

התכונה 'אירועים' נמצאת כרגע בגרסת בטא כרעיון להוכחת היתכנות. אנחנו שואפים להשיק אותה באופן רשמי עם עדכונים עתידיים, כולל שיחות רציפות עם אירועים מועדפים ותכונות של צילום וידאו.

נוצר באמצעות

  • Android
  • ARCore
  • TensorFlow Lite
  • מודל EfficientDet לזיהוי אובייקטים

קבוצה

על ידי

אירועים קבוצתיים

מאת

יפן