Panduan klasifikasi teks untuk Python

Tugas MediaPipe Text Classifier memungkinkan Anda mengklasifikasikan teks ke dalam kumpulan kategori yang ditentukan, seperti sentimen positif atau negatif. Kategori ini menentukan model yang Anda gunakan dan cara model tersebut dilatih. Petunjuk ini menunjukkan cara menggunakan Text Classifier dengan Python.

Anda dapat melihat cara kerja tugas ini dengan melihat Demo web. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh untuk Pengklasifikasi Teks menyediakan implementasi lengkap tugas ini di Python sebagai referensi Anda. Kode ini membantu Anda menguji tugas ini dan memulai pembuatan aplikasi klasifikasi teks Anda sendiri. Anda dapat melihat, menjalankan, dan mengedit kode contoh Text Classifier hanya menggunakan browser web.

Jika Anda mengimplementasikan Pengklasifikasi Teks untuk Raspberry Pi, lihat aplikasi contoh Raspberry Pi.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project secara khusus untuk menggunakan Pengklasifikasi Teks. Untuk mengetahui informasi umum tentang cara menyiapkan lingkungan pengembangan untuk menggunakan MediaPipe Tasks, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Python.

Paket

Pengklasifikasi Teks menggunakan paket pip mediapipe. Anda dapat menginstal dependensi ini dengan perintah berikut:

$ python -m pip install mediapipe

Impor

Impor class berikut untuk mengakses fungsi tugas Text Classifier:

from mediapipe.tasks import python
from mediapipe.tasks.python import text

Model

Tugas MediaPipe Text Classifier memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Teks, lihat bagian Model ringkasan tugas.

Pilih dan download model, lalu simpan di direktori lokal:

model_path = '/absolute/path/to/text_classifier.tflite'

Tentukan jalur model dengan parameter model_asset_path objek BaseOptions, seperti yang ditunjukkan di bawah:

base_options = BaseOptions(model_asset_path=model_path)

Membuat tugas

Tugas MediaPipe Text Classifier menggunakan fungsi create_from_options untuk menyiapkan tugas. Fungsi create_from_options menerima nilai untuk opsi konfigurasi guna menetapkan opsi pengklasifikasi. Anda juga dapat menginisialisasi tugas menggunakan fungsi factory create_from_model_path. Fungsi create_from_model_path menerima jalur relatif atau absolut ke file model yang telah dilatih. Untuk informasi selengkapnya tentang opsi konfigurasi, lihat Opsi konfigurasi.

Kode berikut menunjukkan cara membangun dan mengonfigurasi tugas ini.

base_options = python.BaseOptions(model_asset_path=model_path)
options = text.TextClassifierOptions(base_options=base_options)

with python.text.TextClassifier.create_from_options(options) as classifier:
  classification_result = classifier.classify(text)

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
display_names_locale Menetapkan bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API Kode lokal id
max_results Menetapkan jumlah maksimum opsional hasil klasifikasi dengan skor tertinggi yang akan ditampilkan. Jika < 0, semua hasil yang tersedia akan ditampilkan. Semua bilangan positif -1
score_threshold Menetapkan nilai minimum skor prediksi yang menggantikan skor yang diberikan dalam metadata model (jika ada). Hasil di bawah nilai ini ditolak. Semua float Tidak ditetapkan
category_allowlist Menetapkan daftar opsional nama kategori yang diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya tidak ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau tidak diketahui akan diabaikan. Opsi ini sama-sama bersifat eksklusif dengan category_denylist dan menggunakan keduanya akan menghasilkan error. String apa pun Tidak ditetapkan
category_denylist Menetapkan daftar opsional nama kategori yang tidak diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau tidak diketahui akan diabaikan. Opsi ini sama-sama bersifat eksklusif dengan category_allowlist dan menggunakan keduanya akan menghasilkan error. String apa pun Tidak ditetapkan

Menyiapkan data

Pengklasifikasi Teks berfungsi dengan data teks (str). Tugas ini menangani pra-pemrosesan input data, termasuk tokenisasi dan pra-pemrosesan tensor.

Semua pra-pemrosesan ditangani dalam fungsi classify. Tidak perlu pemrosesan teks input tambahan terlebih dahulu.

input_text = 'The input text to be classified.'

Menjalankan tugas

Pengklasifikasi Teks menggunakan fungsi classify untuk memicu inferensi. Untuk klasifikasi teks, ini berarti menampilkan kemungkinan kategori untuk teks input.

Kode berikut menunjukkan cara menjalankan pemrosesan dengan model tugas.

with python.text.TextClassifier.create_from_options(options) as classifier:
  classification_result = classifier.classify(text)

Menangani dan menampilkan hasil

Pengklasifikasi Teks menghasilkan objek TextClassifierResult yang berisi daftar kategori yang memungkinkan untuk teks input. Kategori ditentukan oleh model yang Anda gunakan, jadi jika Anda menginginkan kategori yang berbeda, pilih model lain, atau latih ulang model yang sudah ada.

Berikut ini contoh data output dari tugas ini:

TextClassificationResult:
  Classification #0 (single classification head):
    ClassificationEntry #0:
      Category #0:
        category name: "positive"
        score: 0.8904
        index: 0
      Category #1:
        category name: "negative"
        score: 0.1096
        index: 1

Hasil ini diperoleh dengan menjalankan BERT-classifier pada teks input: "an imperfect but overall entertaining mystery".