AI Edge RAG SDK предоставляет основные компоненты для построения конвейера Retrieval Augmented Generation (RAG) с API вывода LLM. Конвейер RAG предоставляет LLM доступ к предоставленным пользователем данным, которые могут включать обновленную, конфиденциальную или специфичную для домена информацию. Благодаря дополнительным возможностям извлечения информации из RAG LLM могут генерировать более точные и контекстно-зависимые ответы для конкретных вариантов использования.
AI Edge RAG SDK доступен для Android и может быть запущен полностью на устройстве. Начните использовать SDK, следуя руководству Android , которое проведет вас через базовую реализацию примера приложения с использованием RAG.
Трубопровод RAG
Настройка конвейера RAG с помощью AI Edge RAG SDK содержит следующие основные этапы:
- Импорт данных : предоставьте текстовые данные, которые LLM будет использовать при формировании выходных данных.
- Разделите и индексируйте данные : разбейте данные на небольшие фрагменты для индексации в базе данных.
- Генерация вложений : использование встраиваемого устройства для векторизации фрагментов и сохранения их в векторной базе данных.
- Извлечение информации : Определите, как идентифицируется и извлекается соответствующая информация для ответа на запросы пользователя. Для данного запроса компонент извлечения ищет в векторной базе данных, чтобы идентифицировать соответствующую информацию.
- Генерация текста с помощью LLM : использование большой языковой модели для генерации выходного текста на основе информации, полученной из векторной базы данных.
Ключевые модули
AI Edge RAG SDK предоставляет следующие ключевые модули и API для конвейера RAG:
- Языковые модели : модели LLM с открытым API-интерфейсом, локальным (на устройстве) или серверным. API основано на интерфейсе LanguageModel .
- Модели внедрения текста : Преобразование структурированного и неструктурированного текста в векторы внедрения для семантического поиска. API основано на интерфейсе Embedder .
- Векторные хранилища : векторное хранилище содержит вложения и метаданные, полученные из фрагментов данных. Его можно запросить, чтобы получить похожие фрагменты или точные совпадения. API основано на интерфейсе VectorStore .
- Semantic Memory : служит семантическим извлекателем для извлечения релевантных фрагментов top-k по запросу. API основан на интерфейсе SemanticMemory .
- Text Chunking : Разделяет пользовательские данные на более мелкие части для облегчения индексации. API основан на интерфейсе TextChunker .
SDK предоставляет цепочки, которые объединяют несколько компонентов RAG в один конвейер. Вы можете использовать цепочки для организации моделей поиска и запросов. API основан на интерфейсе Chain . Чтобы начать работу, попробуйте цепочку Retrieval and Inference или цепочку Retrieval .