Python 的文本分类指南

借助 MediaPipe 文本分类器任务，您可以将文本归类到一组已定义的类别中，例如正面或负面的情感。类别决定了您使用的模型以及模型的训练方式。以下说明介绍了如何在 Python 中使用文本分类器。

您可以观看 Web 演示，了解此任务的实际效果。如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

文本分类器的示例代码在 Python 中提供了此任务的完整实现，供您参考。此代码可帮助您测试此任务并开始构建自己的文本分类应用。您只需使用网络浏览器即可查看、运行和修改文本分类器示例代码。

如果您要为 Raspberry Pi 实现文本分类器，请参阅 Raspberry Pi 示例应用。

初始设置

本部分介绍了专门为使用文本分类器而设置开发环境和代码项目的关键步骤。如需了解有关为使用 MediaPipe Tasks 设置开发环境的常规信息（包括平台版本要求），请参阅 Python 设置指南。

软件包

文本分类器使用 mediapipe pip 软件包。您可以使用以下代码安装这些依赖项：

$ python -m pip install mediapipe

导入

导入以下类以访问文本分类器任务函数：

from mediapipe.tasks import python
from mediapipe.tasks.python import text

模型

MediaPipe 文本分类器任务需要使用与此任务兼容的经过训练的模型。如需详细了解文本分类器可用的经过训练的模型，请参阅任务概览“模型”部分。

选择并下载模型，然后将其存储在本地目录中：

model_path = '/absolute/path/to/text_classifier.tflite'

使用 BaseOptions 对象 model_asset_path 参数指定模型的路径，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

MediaPipe Text Classifier 任务使用 create_from_options 函数来设置该任务。create_from_options 函数接受配置选项的值，以设置分类器选项。您还可以使用 create_from_model_path 工厂函数初始化任务。create_from_model_path 函数接受经过训练的模型文件的相对或绝对路径。如需详细了解配置选项，请参阅配置选项。

以下代码演示了如何构建和配置此任务。

base_options = python.BaseOptions(model_asset_path=model_path)
options = text.TextClassifierOptions(base_options=base_options)

with python.text.TextClassifier.create_from_options(options) as classifier:
  classification_result = classifier.classify(text)

配置选项

此任务具有以下 Android 应用的配置选项：

选项名称	说明	值范围	默认值
`display_names_locale`	设置任务模型元数据中提供的显示名（如果有）要使用的标签语言。英语的默认值为 `en`。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签。	语言区域代码	en
`max_results`	设置要返回的得分最高的分类结果的数量上限（可选）。如果小于 0，将返回所有可用的结果。	任何正数	`-1`
`score_threshold`	设置预测分数阈值，以替换模型元数据中提供的阈值（如果有）。低于此值的结果会被拒绝。	任意浮点数	未设置
`category_allowlist`	设置允许的类别名称的可选列表。如果为非空，则类别名称不在此集合中的分类结果将被滤除。系统会忽略重复或未知的类别名称。此选项与 `category_denylist` 互斥，如果同时使用这两者，就会引发错误。	任何字符串	未设置
`category_denylist`	设置不允许使用的类别名称的可选列表。如果非空，则类别名称在此集合中的分类结果将被滤除。系统会忽略重复或未知的类别名称。此选项与 `category_allowlist` 互斥，同时使用这两者会导致错误。	任何字符串	未设置

准备数据

文本分类器可处理文本 (str) 数据。该任务会处理数据输入预处理，包括标记化和张量预处理。

所有预处理都在 classify 函数中处理。无需事先对输入文本进行额外的预处理。

input_text = 'The input text to be classified.'

运行任务

文本分类器使用 classify 函数来触发推断。对于文本分类，这意味着返回输入文本的可能类别。

以下代码演示了如何使用任务模型执行处理。

with python.text.TextClassifier.create_from_options(options) as classifier:
  classification_result = classifier.classify(text)

处理和显示结果

文本分类器会输出 TextClassifierResult 对象，其中包含输入文本的可能类别列表。类别由您使用的模型定义，因此，如果您想要不同的类别，请选择其他模型或重新训练现有模型。

下面显示了此任务的输出数据示例：

TextClassificationResult:
  Classification #0 (single classification head):
    ClassificationEntry #0:
      Category #0:
        category name: "positive"
        score: 0.8904
        index: 0
      Category #1:
        category name: "negative"
        score: 0.1096
        index: 1

通过对输入文本运行 BERT-classifier 来获取此结果："an imperfect but overall entertaining mystery"。