Le service de représentation vectorielle continue de l'API Gemini génère des représentations vectorielles continues de pointe pour les mots, les expressions et les phrases. Les représentations vectorielles continues obtenues peuvent ensuite être utilisées pour des tâches de TLN, telles que la recherche sémantique, la classification de texte et le clustering, entre autres. Cette page décrit les représentations vectorielles continues et met en évidence certains cas d'utilisation clés du service de représentations vectorielles continues pour vous aider à démarrer.
Que sont les représentations vectorielles continues ?
Les représentations vectorielles continues de texte sont une technique de traitement du langage naturel (TLN) qui convertit du texte en vecteurs numériques. Les représentations vectorielles continues capturent le contexte et la signification sémantique. Par conséquent, du texte ayant des significations similaires a des représentations plus proches. Par exemple, les phrases "J'ai emmené mon chien chez le vétérinaire" et "J'ai emmené mon chat chez le vétérinaire" comporteraient des représentations vectorielles continues proches l'une de l'autre dans l'espace vectoriel, car elles décrivent toutes les deux un contexte similaire.
C'est important, car il débloque de nombreux algorithmes qui peuvent agir sur des vecteurs, mais pas directement sur du texte.
Vous pouvez utiliser ces représentations vectorielles continues ou vecteurs pour comparer différents textes et comprendre leurs relations. Par exemple, si les représentations vectorielles continues du texte "chat" et "chien" sont proches l'une de l'autre, vous pouvez en déduire que la signification ou le contexte de ces mots sont similaires, ou les deux. Cette fonctionnalité permet divers cas d'utilisation décrits dans la section suivante.
Cas d'utilisation
Les représentations vectorielles continues de texte sont utilisées dans de nombreux cas d'utilisation du TLN. Exemple :
- Récupération d'informations: l'objectif est de récupérer un texte sémantiquement similaire en fonction d'un texte d'entrée. Un système de récupération d'informations peut prendre en charge un large éventail d'applications, telles que la recherche sémantique, les réponses à des questions ou la synthèse. Reportez-vous au notebook de recherche de documents pour obtenir un exemple.
- Classification: vous pouvez utiliser les représentations vectorielles continues pour entraîner un modèle à classer des documents en catégories. Par exemple, si vous souhaitez classer les commentaires des utilisateurs comme négatifs ou positifs, vous pouvez utiliser le service de représentations vectorielles continues pour obtenir la représentation vectorielle de chaque commentaire afin d'entraîner le classificateur. Pour en savoir plus, reportez-vous à l'exemple de classificateur de Genmini.
- Regroupement: la comparaison de vecteurs de texte peut montrer à quel point ils sont similaires ou différents. Cette fonctionnalité peut être utilisée pour entraîner un modèle de clustering qui regroupe des textes ou des documents similaires et pour détecter des anomalies dans vos données.
- Base de données vectorielle: vous pouvez stocker les représentations vectorielles continues générées dans une base de données vectorielle pour améliorer la précision et l'efficacité de votre application TLN. Reportez-vous à cette page pour découvrir comment utiliser une base de données vectorielle pour traduire des requêtes textuelles en vecteurs numériques.
Représentations vectorielles continues élastiques
Le modèle de représentation vectorielle continue de texte Gemini, qui commence par text-embedding-004, offre des tailles de représentations vectorielles continues élastiques inférieures à 768. Vous pouvez utiliser des représentations vectorielles continues élastiques pour générer des dimensions de sortie plus petites et réduire potentiellement les coûts de calcul et de stockage avec une perte de performances mineure.
Étapes suivantes
- Si vous êtes prêt à commencer le développement, vous trouverez du code exécutable complet dans les guides de démarrage rapide pour Python, Go, Node.js et Dart (Flutter).