Panduan klasifikasi teks untuk Android

Tugas MediaPipe Text Classifier memungkinkan Anda mengklasifikasikan teks ke dalam kumpulan kategori yang ditentukan, seperti sentimen positif atau negatif. Kategori ini menentukan model yang Anda gunakan dan cara model tersebut dilatih. Petunjuk ini menunjukkan cara menggunakan Text Classifier dengan aplikasi Android.

Anda dapat melihat cara kerja tugas ini dengan melihat demo. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh untuk Pengklasifikasi Teks menyediakan implementasi sederhana tugas ini sebagai referensi Anda. Kode ini membantu Anda menguji tugas ini dan mulai mem-build aplikasi klasifikasi teks Anda sendiri. Anda dapat menjelajahi kode contoh Text Classifier di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line kontrol versi git.

Untuk mendownload kode contoh:

  1. Clone repositori git menggunakan perintah berikut: 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. Secara opsional, konfigurasikan instance git untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Text Classifier: 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/text_classification/android

Untuk mengetahui petunjuk cara menyiapkan dan menjalankan contoh dengan Android Studio, lihat contoh petunjuk penyiapan kode di Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk aplikasi contoh klasifikasi teks:

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project secara khusus untuk menggunakan Pengklasifikasi Teks. Untuk mengetahui informasi umum tentang cara menyiapkan lingkungan pengembangan untuk menggunakan MediaPipe Tasks, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Pengklasifikasi Teks menggunakan library com.google.mediapipe:tasks-text. Tambahkan dependensi ini ke file build.gradle project pengembangan aplikasi Android Anda. Anda dapat mengimpor dependensi yang diperlukan dengan kode berikut:

dependencies {
    implementation 'com.google.mediapipe:tasks-text:latest.release'
}

Model

Tugas MediaPipe Text Classifier memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Teks, lihat bagian Model ringkasan tugas.

Pilih dan download model, lalu simpan dalam direktori assets project Anda:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menentukan jalur model yang akan digunakan. Untuk contoh kode, lihat bagian berikutnya.

Membuat tugas

Gunakan salah satu fungsi TextClassifier.createFrom...() Pengklasifikasi Teks untuk menyiapkan tugas guna menjalankan inferensi. Anda dapat menggunakan fungsi createFromFile() dengan jalur relatif atau absolut ke file model yang telah dilatih. Contoh kode di bawah menunjukkan penggunaan fungsi TextClassifier.createFromOptions(). Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi yang tersedia, lihat Opsi konfigurasi.

Kode berikut menunjukkan cara membangun dan mengonfigurasi tugas ini.

// no directory path required if model file is in src/main/assets:
String currentModel = "text_classifier_model.tflite";

fun initClassifier() {
    val baseOptionsBuilder = BaseOptions.builder()
        .setModelAssetPath(currentModel)
    try {
        val baseOptions = baseOptionsBuilder.build()
        val optionsBuilder = TextClassifier.TextClassifierOptions.builder()
            .setBaseOptions(baseOptions)
        val options = optionsBuilder.build()
        textClassifier = TextClassifier.createFromOptions(context, options)
    } catch (e: IllegalStateException) { // exception handling
    }
}

Anda dapat melihat contoh cara membuat tugas dalam contoh kode fungsi initClassifier() class TextClassifierHelper.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
displayNamesLocale Menetapkan bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API Kode lokal id
maxResults Menetapkan jumlah maksimum opsional hasil klasifikasi dengan skor tertinggi yang akan ditampilkan. Jika < 0, semua hasil yang tersedia akan ditampilkan. Semua bilangan positif -1
scoreThreshold Menetapkan nilai minimum skor prediksi yang menggantikan skor yang diberikan dalam metadata model (jika ada). Hasil di bawah nilai ini ditolak. Semua float Tidak ditetapkan
categoryAllowlist Menetapkan daftar opsional nama kategori yang diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya tidak ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau tidak diketahui akan diabaikan. Opsi ini sama-sama bersifat eksklusif dengan categoryDenylist dan menggunakan keduanya akan menghasilkan error. String apa pun Tidak ditetapkan
categoryDenylist Menetapkan daftar opsional nama kategori yang tidak diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau tidak diketahui akan diabaikan. Opsi ini sama-sama bersifat eksklusif dengan categoryAllowlist dan menggunakan keduanya akan menghasilkan error. String apa pun Tidak ditetapkan

Menyiapkan data

Pengklasifikasi Teks berfungsi dengan data teks (String). Tugas ini menangani pra-pemrosesan input data, termasuk tokenisasi dan pra-pemrosesan tensor.

Semua pra-pemrosesan ditangani dalam fungsi classify(). Tidak perlu pemrosesan teks input tambahan terlebih dahulu.

String inputText = "The input text to be classified.";

Menjalankan tugas

Pengklasifikasi Teks menggunakan fungsi TextClassifier.classify() untuk menjalankan inferensi. Gunakan thread eksekusi terpisah untuk menjalankan klasifikasi agar tidak memblokir thread antarmuka pengguna Android dengan aplikasi Anda.

Kode berikut menunjukkan cara menjalankan pemrosesan dengan model tugas menggunakan thread eksekusi terpisah.

    fun classify(text: String) {
        executor = ScheduledThreadPoolExecutor(1)

        executor.execute {
            val results = textClassifier.classify(text)
            listener.onResult(results)
        }
    }

Anda dapat melihat contoh cara menjalankan tugas dalam fungsi classify() class TextClassifierHelper contoh kode.

Menangani dan menampilkan hasil

Pengklasifikasi Teks menghasilkan TextClassifierResult yang berisi daftar kategori yang memungkinkan untuk teks input. Kategori ditentukan oleh model yang Anda gunakan, jadi jika Anda menginginkan kategori yang berbeda, pilih model lain, atau latih ulang model yang sudah ada.

Berikut ini contoh data output dari tugas ini:

TextClassificationResult:
  Classification #0 (single classification head):
    ClassificationEntry #0:
      Category #0:
        category name: "positive"
        score: 0.8904
        index: 0
      Category #1:
        category name: "negative"
        score: 0.1096
        index: 1

Hasil ini diperoleh dengan menjalankan BERT-classifier pada teks input: "an imperfect but overall entertaining mystery".

Anda dapat melihat contoh cara menampilkan hasil di class contoh kode ResultsAdapter dan class dalam ViewHolder.