El SDK de RAG de AI Edge proporciona los componentes fundamentales para construir una canalización de generación mejorada de recuperación (RAG) con la API de inferencia de LLM. Un canal de RAG proporciona a los LLM acceso a los datos proporcionados por el usuario, que pueden incluir información actualizada, sensible o específica del dominio. Con las capacidades de recuperación de información adicional de la RAG, los LLM pueden generar respuestas más precisas y conscientes del contexto para casos de uso específicos.
El SDK de RAG de AI Edge está disponible para Android y se puede ejecutar por completo en el dispositivo. Para comenzar a usar el SDK, sigue la guía de Android, que te guiará por una implementación básica de una aplicación de ejemplo con RAG.
Canalización de RAG
La configuración de una canalización de RAG con el SDK de AI Edge RAG contiene los siguientes pasos clave:
- Importa datos: Proporciona los datos textuales que usará el LLM cuando genere resultados.
- Dividir y indexar los datos: Divide los datos en fragmentos pequeños para indexarlos en una base de datos.
- Genera incorporaciones: Usa un incorporador para vectorizar los fragmentos y almacenarlos en una base de datos de vectores.
- Recuperar información: Define cómo se identifica y recupera la información relevante para responder las instrucciones del usuario. Para una instrucción determinada, el componente de recuperación busca en la base de datos de vectores para identificar la información relevante.
- Genera texto con LLM: Usa un modelo de lenguaje grande para generar texto de salida según la información recuperada de la base de datos de vectores.
Módulos clave
El SDK de RAG de IA Edge proporciona los siguientes módulos y APIs clave para la canalización de RAG:
- Modelos de lenguaje: Los modelos de LLM con API de instrucciones abiertas, ya sea locales (en el dispositivo) o basadas en servidores. La API se basa en la interfaz de LanguageModel.
- Modelos de incorporación de texto: Convierte texto estructurado y no estructurado en vectores de incorporación para la búsqueda semántica. La API se basa en la interfaz de Embedder.
- Almacenes de vectores: El almacén de vectores contiene las incorporaciones y los metadatos derivados de los fragmentos de datos. Se puede consultar para obtener fragmentos similares o coincidencias exactas. La API se basa en la interfaz de VectorStore.
- Memoria semántica: Sirve como recuperador semántico para recuperar fragmentos relevantes Top-K a partir de una consulta. La API se basa en la interfaz de SemanticMemory.
- Fragmentación de texto: Divide los datos del usuario en partes más pequeñas para facilitar la indexación. La API se basa en la interfaz de TextChunker.
El SDK proporciona cadenas, que combinan varios componentes de RAG en una sola canalización. Puedes usar cadenas para organizar modelos de recuperación y consulta. La API se basa en la interfaz de Chain. Para comenzar, prueba la cadena de recuperación y de inferencia o la cadena de recuperación.