Пакет SDK AI Edge RAG предоставляет основные компоненты для построения конвейера расширенной генерации данных (RAG) с помощью API вывода LLM. Конвейер RAG предоставляет LLM доступ к предоставленным пользователем данным, которые могут включать обновленную, конфиденциальную или специфичную для домена информацию. Благодаря дополнительным возможностям поиска информации из RAG, LLM могут генерировать более точные и контекстно-зависимые ответы для конкретных случаев использования.
AI Edge RAG SDK доступен для Android и может быть полностью запущен на устройстве. Начните использовать SDK, следуя руководству Android , в котором описана базовая реализация примера приложения с использованием RAG.
Трубопровод РАГ
Настройка конвейера RAG с помощью AI Edge RAG SDK включает следующие ключевые шаги:
- Импортировать данные : укажите текстовые данные, которые LLM будет использовать при создании выходных данных.
- Разделить и индексировать данные . Разбейте данные на небольшие фрагменты для индексации в базе данных.
- Создание вложений . Используйте средство внедрения для векторизации фрагментов для хранения в векторной базе данных.
- Извлечение информации . Определите, как релевантная информация будет идентифицироваться и извлекаться для ответа на запросы пользователя. По заданному запросу компонент поиска выполняет поиск в базе данных векторов для выявления соответствующей информации.
- Генерация текста с помощью LLM : используйте большую языковую модель для генерации выходного текста на основе информации, полученной из базы данных векторов.
Ключевые модули
AI Edge RAG SDK предоставляет следующие ключевые модули и API для конвейера RAG:
- Языковые модели : модели LLM с API с открытым запросом, локальные (на устройстве) или на сервере. API основан на интерфейсе LanguageModel .
- Модели внедрения текста : преобразуйте структурированный и неструктурированный текст в векторы внедрения для семантического поиска. API основан на интерфейсе Embedder .
- Хранилища векторов : Хранилище векторов содержит вложения и метаданные, полученные из фрагментов данных. Его можно запросить, чтобы получить похожие фрагменты или точные совпадения. API основан на интерфейсе VectorStore .
- Семантическая память : служит семантическим средством извлечения для извлечения топ-k релевантных фрагментов по запросу. API основан на интерфейсе SemanticMemory .
- Разбивка текста : разбивает пользовательские данные на более мелкие части для облегчения индексации. API основан на интерфейсе TextChunker .
SDK предоставляет цепочки, объединяющие несколько компонентов RAG в одном конвейере. Вы можете использовать цепочки для организации моделей поиска и запросов. API основан на интерфейсе Chain . Для начала попробуйте цепочку поиска и вывода или цепочку поиска .