Panduan klasifikasi teks untuk Web

Tugas Pengklasifikasi Teks MediaPipe memungkinkan Anda mengklasifikasikan teks ke dalam serangkaian kategori yang ditentukan, seperti sentimen positif atau negatif. Kategori ditentukan oleh model yang Anda gunakan dan cara model tersebut dilatih. Petunjuk ini menunjukkan cara menggunakan {i>Text Classifier<i} untuk aplikasi web dan JavaScript.

Anda dapat melihat cara kerja tugas ini dengan melihat demo. Untuk informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh untuk Pengklasifikasi Teks menyediakan implementasi lengkap dari tugas di JavaScript untuk referensi Anda. Kode ini membantu Anda menguji tugas ini dan mulai membangun aplikasi klasifikasi teks Anda sendiri. Anda dapat melihat, menjalankan, dan edit kode contoh Pengklasifikasi Teks hanya dengan menggunakan {i>browser<i} web.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan mengkodekan proyek secara khusus untuk menggunakan Pengklasifikasi Teks. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan MediaPipe Tasks, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Web.

Paket JavaScript

Kode Pengklasifikasi Teks tersedia melalui @mediapipe/tasks-text paket. Anda bisa menemukan dan mendownload library ini dari link yang disediakan dalam peron Panduan penyiapan.

Anda dapat menginstal paket yang diperlukan dengan kode berikut untuk staging lokal menggunakan perintah berikut:

npm install @mediapipe/tasks-text

Jika Anda ingin men-deploy ke server, Anda dapat menggunakan pengiriman konten jaringan (CDN), seperti jsDelivr untuk tambahkan kode langsung ke halaman HTML Anda, seperti berikut:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@0.1/text-bundle.js"
    crossorigin="anonymous"></script>
</head>

Model

Tugas MediaPipe Text Classifier memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Teks, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/assets/bert_text_classifier.tflite

Tentukan jalur model dengan objek baseOptions modelAssetPath , seperti yang ditunjukkan di bawah ini:

baseOptions: {
        modelAssetPath: `/assets/bert_text_classifier.tflite`
      }

Membuat tugas

Gunakan salah satu fungsi TextClassifier.createFrom...() Pengklasifikasi Teks untuk mempersiapkan tugas untuk menjalankan inferensi. Anda dapat menggunakan createFromModelPath() dengan jalur relatif atau absolut ke file model terlatih. Kode contoh di bawah menunjukkan penggunaan TextClassifier.createFromOptions() . Untuk informasi selengkapnya tentang opsi konfigurasi yang tersedia, lihat Opsi konfigurasi.

Kode berikut menunjukkan cara membangun dan mengonfigurasi tugas ini:

async function createClassifier() {
  const textFiles = await FilesetResolver.forTextTasks("https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text@latest/wasm/");
  textClassifier = await TextClassifier.createFromOptions(
    textFiles,
    {
      baseOptions: {
        modelAssetPath: `https://storage.googleapis.com/mediapipe-tasks/text_classifier/bert_text_classifier.tflite`
      },
      maxResults: 5
    }
  );
}
createClassifier();

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk Web dan JavaScript aplikasi:

Nama Opsi	Deskripsi	Rentang Nilai	Nilai Default
`displayNamesLocale`	Menyetel bahasa label yang akan digunakan untuk nama tampilan yang diberikan di metadata model tugas, jika tersedia. Defaultnya adalah `en` untuk Bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API	Kode lokal	id
`maxResults`	Menetapkan jumlah maksimum opsional untuk hasil klasifikasi dengan skor tertinggi ke kembali. Jika < 0, semua hasil yang tersedia akan ditampilkan.	Semua angka positif	`-1`
`scoreThreshold`	Menetapkan ambang batas skor prediksi yang menggantikan skor yang diberikan dalam metadata model (jika ada). Hasil di bawah nilai ini ditolak.	Float mana pun	Tidak ditetapkan
`categoryAllowlist`	Menetapkan daftar opsional untuk nama kategori yang diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya tidak ada dalam kumpulan ini akan disaring. Nama kategori duplikat atau yang tidak diketahui akan diabaikan. Opsi ini sama-sama bersifat eksklusif dengan `categoryDenylist` dan menggunakan keduanya akan menghasilkan {i>error<i}.	String apa pun	Tidak ditetapkan
`categoryDenylist`	Menetapkan daftar opsional nama kategori yang tidak diizinkan. Jika hasil klasifikasi yang tidak kosong, yang nama kategorinya dalam rangkaian ini akan difilter posisi-posisi ini. Nama kategori duplikat atau yang tidak diketahui akan diabaikan. Opsi ini sama-sama eksklusif dengan `categoryAllowlist` dan menggunakan keduanya akan menyebabkan error.	String apa pun	Tidak ditetapkan

Menyiapkan data

Pengklasifikasi Teks berfungsi dengan data teks (String). Tugas tersebut menangani pra-pemrosesan input data, termasuk tokenisasi dan pra-pemrosesan tensor.

Semua pra-pemrosesan ditangani dalam fungsi classify(). Tidak perlu untuk pra-pemrosesan tambahan terhadap teks input.

const inputText = "The input text to be classified.";

Menjalankan tugas

Pengklasifikasi Teks menggunakan fungsi classify() untuk memicu inferensi. Untuk teks klasifikasi, ini berarti mengembalikan kategori yang mungkin untuk teks {i>input.<i}

Kode berikut menunjukkan cara menjalankan pemrosesan dengan tugas model transformer.

// Wait to run the function until inner text is set
const result: TextClassifierResult = await textClassifier.classify(
  inputText
);

Menangani dan menampilkan hasil

Pengklasifikasi Teks menghasilkan TextClassifierResult yang berisi daftar kategori yang memungkinkan untuk teks input. Kategori didefinisikan oleh yang digunakan. Jika ingin kategori yang berbeda, pilih model yang berbeda, atau melatih kembali yang sudah ada.

Berikut ini contoh data output dari tugas ini:

TextClassificationResult:
  Classification #0 (single classification head):
    ClassificationEntry #0:
      Category #0:
        category name: "positive"
        score: 0.8904
        index: 0
      Category #1:
        category name: "negative"
        score: 0.1096
        index: 1

Hasil ini diperoleh dengan menjalankan pengklasifikasi BERT pada teks input: "an imperfect but overall entertaining mystery".