מדריך לסיווג טקסט באינטרנט

המשימה 'מסווג טקסט של MediaPipe' מאפשרת לסווג טקסט לקבוצה של קטגוריות מוגדרות, כמו סנטימנט חיובי או שלילי. הקטגוריות קובעות את המודל שבו אתם משתמשים ואת אופן האימון של המודל. בהוראות האלה מוסבר איך להשתמש ב-Text Classifier לאפליקציות אינטרנט ו-JavaScript.

בהדגמה תוכלו לראות את המשימה הזו בפעולה. למידע נוסף על היכולות, המודלים ואפשרויות התצורה של המשימה הזו, קראו את הסקירה הכללית.

קוד לדוגמה

הקוד לדוגמה של Text Classifier מספק הטמעה מלאה של המשימה הזו ב-JavaScript לעיונך. בעזרת הקוד הזה תוכלו לבדוק את המשימה ולהתחיל ליצור אפליקציה משלכם לסיווג טקסטים. תוכלו להציג, להריץ ולערוך את הקוד לדוגמה של מסווג טקסט באמצעות דפדפן האינטרנט בלבד.

הגדרה

בקטע הזה מתוארים שלבים עיקריים להגדרת סביבת הפיתוח ופרויקטים של קוד במיוחד לשימוש ב-Text Classifier. במדריך ההגדרה לאינטרנט תוכלו לקרוא מידע כללי על הגדרת סביבת הפיתוח לשימוש ב-MediaPipe Tasks, כולל הדרישות בנוגע לגרסת הפלטפורמה.

חבילות JavaScript

הקוד של מסווג הטקסט זמין דרך החבילה @mediapipe/tasks-text. אפשר למצוא את הספריות האלה ולהוריד אותן מהקישורים שמופיעים במדריך ההגדרה של הפלטפורמה.

כדי להתקין את החבילות הנדרשות עם הקוד הבא ל-Staging מקומי, אתם יכולים להשתמש בפקודה הבאה:

npm install @mediapipe/tasks-text

אם רוצים לפרוס בשרת, אפשר להשתמש בשירות של רשת להעברת תוכן (CDN), כמו jsDelivr כדי להוסיף את הקוד ישירות לדף ה-HTML, באופן הבא:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@0.1/text-bundle.js"
    crossorigin="anonymous"></script>
</head>

מודל

למשימה של MediaPipe Text Classifier נדרש מודל מאומן שתואם למשימה הזו. למידע נוסף על המודלים הזמינים למסווג טקסט, עיינו בסקירה הכללית על המשימות בקטע Models.

בחרו והורידו מודל, ולאחר מכן שמרו אותו בספריית הפרויקט שלכם:

<dev-project-root>/assets/bert_text_classifier.tflite

מציינים את הנתיב של המודל עם הפרמטר baseOptions של האובייקט modelAssetPath, באופן הבא:

baseOptions: {
        modelAssetPath: `/assets/bert_text_classifier.tflite`
      }

יצירת המשימה

השתמשו באחת מהפונקציות TextClassifier.createFrom...() של Text Classifier כדי להכין את המשימה להרצת מסקנות. אפשר להשתמש בפונקציה createFromModelPath() עם נתיב יחסי או מוחלט לקובץ המודל שעבר אימון. דוגמת הקוד הבאה ממחישה את השימוש בפונקציה TextClassifier.createFromOptions(). למידע נוסף על אפשרויות ההגדרה הזמינות, ראו אפשרויות תצורה.

הקוד הבא מדגים איך ליצור ולהגדיר את המשימה הזו:

async function createClassifier() {
  const textFiles = await FilesetResolver.forTextTasks("https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@latest/wasm/");
  textClassifier = await TextClassifier.createFromOptions(
    textFiles,
    {
      baseOptions: {
        modelAssetPath: `https://storage.googleapis.com/mediapipe-tasks/text_classifier/bert_text_classifier.tflite`
      },
      maxResults: 5
    }
  );
}
createClassifier();

אפשרויות הגדרה

המשימה הזו כוללת את אפשרויות ההגדרה הבאות לאפליקציות אינטרנט ו-JavaScript:

שם האפשרות	תיאור	טווח ערכים	ערך ברירת מחדל
`displayNamesLocale`	ההגדרה הזו מגדירה את השפה של התוויות שישמשו לשמות תצוגה שנמסרים במטא-נתונים של מודל המשימה, אם יש כאלה. ברירת המחדל היא `en` עבור אנגלית. אפשר להוסיף תוויות שהותאמו לשוק המקומי למטא-נתונים של מודל מותאם אישית באמצעות TensorFlow Lite Metadata Writer API	קוד הלוקאל	en
`maxResults`	הפונקציה מגדירה את המספר המקסימלי האופציונלי של תוצאות מהסיווג הגבוה ביותר להחזרה. אם הערך קטן מ-0, יוחזרו כל התוצאות הזמינות.	כל מספר חיובי	`-1`
`scoreThreshold`	השדה הזה מגדיר את סף הציון של החיזוי ששונה מהסף שצוין במטא-נתונים של המודל (אם יש כזה). תוצאות מתחת לערך הזה יידחו.	כל מספר ממשי (float)	לא הוגדרה
`categoryAllowlist`	מגדיר את הרשימה האופציונלית של שמות הקטגוריות המותרות. אם השדה לא ריק, תוצאות סיווג ששם הקטגוריה שלהן לא נכלל בקבוצה הזו יסוננו. המערכת מתעלמת משמות כפולים או לא ידועים של קטגוריות. האפשרות הזו בלעדית ל-`categoryDenylist` ומשתמשת בשתי התוצאות כשגיאה.	כל מחרוזת	לא הוגדרה
`categoryDenylist`	מגדיר את הרשימה האופציונלית של שמות קטגוריות אסורים. אם התוצאות לא ריקות, תוצאות הסיווג ששם הקטגוריה שלהן נכלל בקבוצה הזו יסוננו. המערכת מתעלמת משמות כפולים או לא ידועים של קטגוריות. האפשרות הזו בלעדית ל-`categoryAllowlist`, והשימוש בשתי האפשרויות האלה גורם לשגיאה.	כל מחרוזת	לא הוגדרה

הכנת הנתונים

מסווג טקסט פועל עם נתוני טקסט (String). המשימה מטפלת בעיבוד מראש של קלט הנתונים, כולל המרה לאסימונים ועיבוד מראש של tensor.

כל העיבודים מראש מטופלים בפונקציה classify(). אין צורך בעיבוד מראש נוסף של טקסט הקלט לפני כן.

const inputText = "The input text to be classified.";

מריצים את המשימה.

מסווג הטקסט משתמש בפונקציה classify() כדי להפעיל הסקות. כשמדובר בסיווג טקסט, זה אומר להחזיר את הקטגוריות האפשריות לטקסט הקלט.

הקוד הבא מדגים איך לבצע את העיבוד באמצעות מודל המשימה.

// Wait to run the function until inner text is set
const result: TextClassifierResult = await textClassifier.classify(
  inputText
);

טיפול בתוצאות והצגתן

הפלט של Text Classifier הוא TextClassifierResult, שמכיל את רשימת הקטגוריות האפשריות לטקסט הקלט. הקטגוריות מוגדרות בהתאם למודל שבו משתמשים, כך שאם רוצים קטגוריות שונות, צריך לבחור מודל אחר או לאמן מחדש מודל קיים.

דוגמה לנתוני הפלט מהמשימה הזאת:

TextClassificationResult:
  Classification #0 (single classification head):
    ClassificationEntry #0:
      Category #0:
        category name: "positive"
        score: 0.8904
        index: 0
      Category #1:
        category name: "negative"
        score: 0.1096
        index: 1

התוצאה הזו התקבלה על ידי הרצת מסווג BERT על טקסט הקלט: "an imperfect but overall entertaining mystery".