EverythingAI API

תיאור

ה-API הזה יכול לזהות זיוף דיגיטלי (deepfake), להמיר דיבור לטקסט, לנתח שפת סימנים (ASL) וכו', בלי צורך באימון על מערך נתונים כלשהו. זה אפשרי בזכות Gemini Flash 1.5 והשיטה שלהם 'הטמעה-הקשר'.
ה-API הזה כולל כרגע משימות AI כמו זיהוי deepfake, המרה של דיבור לטקסט בכמה שפות עם תוצאות שמתעלות על whisper-large-v3 באודיו בכמה שפות, ניתוח מפורט ומדויק ופרשנות של שפת סימנים בסרטונים, סיווג של עד 80 מצבים רגשיים של טקסט תוך 2 שניות בלבד וזיהוי תווים אופטי (OCR) עם דיוק שדומה לזה של מערכות OCR גדולות קיימות. אני עדיין עובד על שילוב של משימות נוספות של AI.
אם פשוט נזין את הסרטון ל-Gemini Flash 1.5 בפני עצמו, הוא לא יוכל לזהות את ה-deepfake. כאן אפשר לראות ש-Gemini Flash 1.5 מתקשה לזהות את ה-deepfake. לכן פיתחתי את שיטת ההנחיה 'הטמעת הקשר'.
במקום הגישה המסורתית שבה המשתמש מנחה את המודל וממתין שהוא יפרש את ההקשר בעצמו, הטמעת הקשר מכתיבה ישירות את היסטוריית הפלט של המודל. המודל עצמו לא כותב את התשובות, אלא אני.
אבל כשהמודל בודק את היסטוריית הצ'אט, הוא חושב בטעות שהוא יצר את התשובות האלה. כך הוא מאלץ את המערכת להבין את כוונת המשתמש. כפי שאפשר לראות, הגישה הזו מניבה תוצאות מדהימות. Gemini Flash 1.5 לא רק מסוגל לנתח זיוף דיגיטלי, אלא גם להשיג רמת דיוק מדהימה.