SDK AI Edge RAG предоставляет основные компоненты для построения конвейера генерации дополненной информации (RAG) с использованием API вывода LLM. Конвейер RAG предоставляет LLM доступ к предоставленным пользователем данным, которые могут включать обновленную, конфиденциальную или специфичную для предметной области информацию. Благодаря дополнительным возможностям поиска информации в RAG, LLM могут генерировать более точные и контекстно-ориентированные ответы для конкретных сценариев использования.
SDK AI Edge RAG доступен для Android и может полностью запускаться на устройстве. Чтобы начать использовать SDK, следуйте руководству для Android , которое описывает базовую реализацию примера приложения с использованием RAG.
Трубопровод RAG
Настройка конвейера RAG с помощью AI Edge RAG SDK включает следующие ключевые шаги:
- Импорт данных : Укажите текстовые данные, которые LLM будет использовать при генерации выходных данных.
- Разделение и индексирование данных : разбейте данные на небольшие фрагменты для индексирования в базе данных.
- Создание векторных представлений : Используйте инструмент для векторизации фрагментов данных, которые затем будут сохранены в векторной базе данных.
- Получение информации : Определите, как выявляется и извлекается релевантная информация для ответа на запросы пользователя. Для заданного запроса компонент извлечения осуществляет поиск в векторной базе данных для выявления релевантной информации.
- Генерация текста с помощью LLM : Используйте большую языковую модель для генерации выходного текста на основе информации, полученной из векторной базы данных.
Ключевые модули
Комплект разработки AI Edge RAG SDK предоставляет следующие ключевые модули и API для конвейера RAG:
- Языковые модели : Модели LLM с открытым API, работающие как локально (на устройстве), так и на сервере. API основан на интерфейсе LanguageModel .
- Модели встраивания текста : Преобразуют структурированный и неструктурированный текст в векторные представления для семантического поиска. API основан на интерфейсе Embedder .
- Векторные хранилища : В векторном хранилище хранятся векторные представления и метаданные, полученные из фрагментов данных. С его помощью можно выполнять запросы для получения похожих фрагментов или точных совпадений. API основан на интерфейсе VectorStore .
- Семантическая память : служит в качестве семантического извлекателя для получения k наиболее релевантных фрагментов по запросу. API основан на интерфейсе SemanticMemory .
- Разбиение текста на фрагменты : Разделяет пользовательские данные на более мелкие части для упрощения индексирования. API основан на интерфейсе TextChunker .
SDK предоставляет цепочки, которые объединяют несколько компонентов RAG в единый конвейер. Вы можете использовать цепочки для организации моделей поиска и запросов. API основан на интерфейсе Chain . Для начала попробуйте цепочку «Поиск и вывод» или цепочку «Поиск» .