Руководство по встраиванию текста,Руководство по встраиванию текста

Задача MediaPipe Text Embedder позволяет создавать числовое представление текстовых данных для отражения их семантического значения. Эта функция часто используется для сравнения семантического сходства двух фрагментов текста с использованием методов математического сравнения, таких как косинусное сходство. Эта задача работает с текстовыми данными с помощью модели машинного обучения (ML) и выводит числовое представление текстовых данных в виде списка многомерных векторов признаков, также известных как векторы внедрения, в форме с плавающей запятой или в квантовой форме.

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:

• Android – Пример кода – Руководство
• Python — Пример кода — Руководство
• Интернет — Пример кода — Руководство

Подробности задачи

В этом разделе описаны возможности, входы, выходы и параметры конфигурации этой задачи.

Функции

• Обработка входного текста — поддерживает токенизацию вне графа для моделей без токенизации внутри графа.
• Встраивание вычисления сходства — встроенная вспомогательная функция для вычисления косинусного сходства между двумя векторами признаков.
• Квантование — поддерживает скалярное квантование векторов признаков.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

Мы предлагаем рекомендуемую модель по умолчанию, когда вы начинаете разработку с этой задачей.

Модель универсального кодировщика предложений (рекомендуется)

Эта модель использует архитектуру двойного кодировщика и была обучена на различных наборах данных вопросов и ответов.

Рассмотрим следующие пары предложений:

• («это очаровательное и зачастую трогательное путешествие», «какое замечательное и фантастическое путешествие»)
• («Мне нравится мой телефон», «Я ненавижу свой телефон»)
• («У этого ресторана отличный трюк», «Нам нужно перепроверить детали нашего плана»)

Текстовые вложения в первых двух парах будут иметь большее косинусное сходство, чем вложения в третьей паре, поскольку первые две пары предложений имеют общую тему «настроение поездки» и «мнения по телефону» соответственно, тогда как третья пара предложений имеет общую тему. не разделять общую тему.

Обратите внимание: хотя два предложения во второй паре имеют противоположные настроения, они имеют высокий показатель сходства, поскольку имеют общую тему.

Тесты задач

Вот тесты задач для всего конвейера, основанные на предварительно обученных моделях. Результатом задержки является средняя задержка на Pixel 6 с использованием ЦП/ГП.

Задача MediaPipe Text Embedder позволяет создавать числовое представление текстовых данных для отражения их семантического значения. Эта функция часто используется для сравнения семантического сходства двух фрагментов текста с использованием методов математического сравнения, таких как косинусное сходство. Эта задача работает с текстовыми данными с помощью модели машинного обучения (ML) и выводит числовое представление текстовых данных в виде списка многомерных векторов признаков, также известных как векторы внедрения, в форме с плавающей запятой или в квантовой форме.

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:

• Android – Пример кода – Руководство
• Python — Пример кода — Руководство
• Интернет — Пример кода — Руководство

Подробности задачи

В этом разделе описаны возможности, входы, выходы и параметры конфигурации этой задачи.

Функции

• Обработка входного текста — поддерживает токенизацию вне графа для моделей без токенизации внутри графа.
• Встраивание вычисления сходства — встроенная вспомогательная функция для вычисления косинусного сходства между двумя векторами признаков.
• Квантование — поддерживает скалярное квантование векторов признаков.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

Мы предлагаем рекомендуемую модель по умолчанию, когда вы начинаете разработку с этой задачей.

Модель универсального кодировщика предложений (рекомендуется)

Эта модель использует архитектуру двойного кодировщика и была обучена на различных наборах данных вопросов и ответов.

Рассмотрим следующие пары предложений:

• («это очаровательное и зачастую трогательное путешествие», «какое замечательное и фантастическое путешествие»)
• («Мне нравится мой телефон», «Я ненавижу свой телефон»)
• («У этого ресторана отличный трюк», «Нам нужно перепроверить детали нашего плана»)

Текстовые вложения в первых двух парах будут иметь большее косинусное сходство, чем вложения в третьей паре, поскольку первые две пары предложений имеют общую тему «настроение поездки» и «мнения по телефону» соответственно, тогда как третья пара предложений имеет общую тему. не разделять общую тему.

Обратите внимание: хотя два предложения во второй паре имеют противоположные настроения, они имеют высокий показатель сходства, поскольку имеют общую тему.

Тесты задач

Вот тесты задач для всего конвейера, основанные на предварительно обученных моделях. Результатом задержки является средняя задержка на Pixel 6 с использованием ЦП/ГП.