SDK RAG AI Edge cung cấp các thành phần cơ bản để tạo một quy trình Tạo sinh tăng cường khả năng truy xuất (RAG) bằng LLM Inference API. Một quy trình RAG cung cấp cho LLM quyền truy cập vào dữ liệu do người dùng cung cấp, có thể bao gồm thông tin đã cập nhật, nhạy cảm hoặc dành riêng cho miền. Với khả năng truy xuất thông tin bổ sung từ RAG, các LLM có thể tạo ra những câu trả lời chính xác hơn và phù hợp với ngữ cảnh cho các trường hợp sử dụng cụ thể.
AI Edge RAG SDK có sẵn cho Android và có thể chạy hoàn toàn trên thiết bị. Bắt đầu sử dụng SDK bằng cách làm theo hướng dẫn dành cho Android. Hướng dẫn này sẽ hướng dẫn bạn cách triển khai cơ bản một ứng dụng mẫu bằng RAG.
Quy trình RAG
Việc thiết lập một quy trình RAG bằng AI Edge RAG SDK bao gồm các bước chính sau:
- Nhập dữ liệu: Cung cấp dữ liệu dạng văn bản mà LLM sẽ dùng khi tạo đầu ra.
- Chia tách và lập chỉ mục dữ liệu: Chia dữ liệu thành các khối nhỏ để lập chỉ mục trong cơ sở dữ liệu.
- Tạo các vectơ nhúng: Sử dụng một trình nhúng để vectơ hoá các đoạn nhằm lưu trữ trong cơ sở dữ liệu vectơ.
- Truy xuất thông tin: Xác định cách thông tin liên quan được xác định và truy xuất để giải quyết các câu lệnh của người dùng. Đối với một câu lệnh nhất định, thành phần truy xuất sẽ tìm kiếm trong cơ sở dữ liệu vectơ để xác định thông tin liên quan.
- Tạo văn bản bằng LLM: Sử dụng mô hình ngôn ngữ lớn để tạo văn bản đầu ra dựa trên thông tin được truy xuất từ cơ sở dữ liệu vectơ.
Mô-đun chính
AI Edge RAG SDK cung cấp các mô-đun và API chính sau đây cho quy trình RAG:
- Mô hình ngôn ngữ: Các mô hình LLM có API mở, có thể là cục bộ (trên thiết bị) hoặc dựa trên máy chủ. API này dựa trên giao diện LanguageModel.
- Mô hình nhúng văn bản: Chuyển đổi văn bản có cấu trúc và không có cấu trúc thành vectơ nhúng để tìm kiếm ngữ nghĩa. API này dựa trên giao diện Embedder.
- Vector Stores (Kho vectơ): Kho vectơ lưu trữ các mục nhúng và siêu dữ liệu bắt nguồn từ các khối dữ liệu. Bạn có thể truy vấn để nhận các khối tương tự hoặc kết quả khớp chính xác. API này dựa trên giao diện VectorStore.
- Bộ nhớ ngữ nghĩa: Đóng vai trò là một bộ truy xuất ngữ nghĩa để truy xuất k đoạn có liên quan hàng đầu cho một truy vấn nhất định. API này dựa trên giao diện SemanticMemory.
- Phân đoạn văn bản: Chia dữ liệu người dùng thành các phần nhỏ hơn để tạo điều kiện thuận lợi cho việc lập chỉ mục. API này dựa trên giao diện TextChunker.
SDK này cung cấp các chuỗi, kết hợp nhiều thành phần RAG trong một quy trình duy nhất. Bạn có thể dùng chuỗi để điều phối các mô hình truy xuất và truy vấn. API này dựa trên giao diện Chain. Để bắt đầu, hãy thử chuỗi Truy xuất và suy luận hoặc chuỗi Truy xuất.