La tâche d'intégration de texte MediaPipe vous permet de créer une représentation numérique des données textuelles afin de capturer leur signification sémantique. Ces instructions vous expliquent comment utiliser l'outil d'intégration de texte avec Python.
Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.
Exemple de code
L'exemple de code de Text Embedder fournit une implémentation complète de cette tâche en Python à titre de référence. Ce code vous aide à tester cette tâche et à créer votre propre intégrateur de texte. Avec Google Colab, vous pouvez afficher, exécuter et modifier l'exemple de code de l'outil d'intégration de texte à l'aide de votre navigateur Web. Vous pouvez afficher le code source de cet exemple sur GitHub.
Préparation
Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code spécifiquement pour l'utilisation de l'outil d'intégration de texte. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences concernant les versions de la plate-forme, consultez le guide de configuration de Python.
Colis
L'outil d'intégration de texte utilise le package pip mediapipe. Vous pouvez installer la dépendance avec la commande suivante:
$ python -m pip install mediapipe
Importations
Importez les classes suivantes pour accéder aux fonctions des tâches de l'outil d'intégration de texte:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import text
Modèle
La tâche d'intégration de texte MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour l'outil d'intégration de texte, consultez la section Modèles de la présentation des tâches.
Sélectionnez et téléchargez un modèle, puis stockez-le dans un répertoire local. Vous pouvez utiliser le modèle UniversalSentenceEncoder recommandé.
model_path = '/absolute/path/to/universal_sentence_encoder.tflite'
Spécifiez le chemin d'accès du modèle dans le paramètre model_asset_path, comme indiqué ci-dessous:
base_options = BaseOptions(model_asset_path=model_path)
Créer la tâche
La tâche d'intégration de texte MediaPipe utilise la fonction create_from_options pour configurer la tâche. La fonction create_from_options accepte des valeurs pour les options de configuration afin de définir les options de l'outil d'intégration. Vous pouvez également initialiser la tâche à l'aide de la fonction de fabrique create_from_model_path. La fonction create_from_model_path accepte un chemin d'accès relatif ou absolu au fichier de modèle entraîné. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.
Le code suivant montre comment créer et configurer cette tâche.
import mediapipe as mp
BaseOptions = mp.tasks.BaseOptions
TextEmbedder = mp.tasks.text.TextEmbedder
TextEmbedderOptions = mp.tasks.text.TextEmbedderOptions
# For creating a text embedder instance:
options = TextEmbedderOptions(
base_options=BaseOptions(model_asset_path=model_path),
quantize=True)
text_embedder = TextEmbedder.create_from_options(options)
Options de configuration
Cette tâche dispose des options de configuration suivantes pour les applications Python:
| Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
|---|---|---|---|
l2_normalize |
Indique s'il faut normaliser le vecteur de caractéristiques renvoyé avec la norme L2. N'utilisez cette option que si le modèle ne contient pas encore d'opération TFLite L2_NORMALIZATION native. Dans la plupart des cas, c'est déjà le cas et la normalisation L2 est donc obtenue via l'inférence TFLite sans utiliser cette option. | Boolean |
False |
quantize |
Indique si la représentation vectorielle continue renvoyée doit être quantifiée en octets via une quantification scalaire. Les représentations vectorielles continues sont implicitement considérées comme de norme unitaire. Par conséquent, la valeur de toute dimension est forcément comprise dans [-1.0, 1.0]. Si ce n'est pas le cas, utilisez l'option l2_normalize. | Boolean |
False |
Préparation des données
L'outil d'intégration de texte fonctionne avec les données de texte (str). Cette tâche gère le prétraitement de l'entrée des données, y compris la tokenisation et le prétraitement du Tensor.
L'ensemble du prétraitement est géré dans la fonction embed. Aucun prétraitement supplémentaire du texte d'entrée n'est nécessaire au préalable.
input_text = "The input text to be embedded."
Exécuter la tâche
L'outil d'intégration de texte utilise la fonction embed pour déclencher des inférences. Pour la représentation vectorielle continue de texte, cela signifie renvoyer les vecteurs de représentation vectorielle continue du texte d'entrée.
Le code suivant montre comment exécuter le traitement avec le modèle de tâche.
# Perform text embedding on the provided input text.
embedding_result = text_embedder.embed(input_text)
Gérer et afficher les résultats
L'outil d'intégration de texte génère un TextEmbedderResult qui contient une liste de représentations vectorielles continues (à virgule flottante ou à quantification scalaire) pour le texte d'entrée.
Voici un exemple des données de sortie de cette tâche:
TextEmbedderResult:
Embedding #0 (sole embedding head):
float_embedding: {0.2345f, 0.1234f, ..., 0.6789f}
head_index: 0
Vous pouvez comparer la similarité sémantique de deux représentations vectorielles continues à l'aide de la fonction TextEmbedder.cosine_similarity. Consultez le code suivant pour obtenir un exemple.
# Compute cosine similarity.
similarity = TextEmbedder.cosine_similarity(
embedding_result.embeddings[0],
other_embedding_result.embeddings[0])