SDK AI Edge RAG cung cấp các thành phần cơ bản để xây dựng quy trình Tạo tăng cường truy xuất (RAG) bằng API suy luận LLM. Quy trình RAG cung cấp cho LLM quyền truy cập vào dữ liệu do người dùng cung cấp, có thể bao gồm thông tin mới cập nhật, nhạy cảm hoặc dành riêng cho miền. Với các chức năng truy xuất thông tin bổ sung từ RAG, LLM có thể tạo ra các phản hồi chính xác hơn và nhận biết được ngữ cảnh cho các trường hợp sử dụng cụ thể.
SDK AI Edge RAG có sẵn cho Android và có thể chạy hoàn toàn trên thiết bị. Bắt đầu sử dụng SDK bằng cách làm theo hướng dẫn Android. Hướng dẫn này sẽ hướng dẫn bạn cách triển khai cơ bản một ứng dụng mẫu bằng RAG.
Quy trình RAG
Quy trình thiết lập quy trình RAG bằng SDK RAG AI Edge bao gồm các bước chính sau:
- Nhập dữ liệu: Cung cấp dữ liệu văn bản mà LLM sẽ sử dụng khi tạo đầu ra.
- Phân tách và lập chỉ mục dữ liệu: Chia dữ liệu thành các phần nhỏ để lập chỉ mục trong cơ sở dữ liệu.
- Tạo nội dung nhúng: Sử dụng trình nhúng để vectơ hoá các đoạn để lưu trữ trong cơ sở dữ liệu vectơ.
- Truy xuất thông tin: Xác định cách xác định và truy xuất thông tin có liên quan để giải quyết lời nhắc của người dùng. Đối với một câu lệnh cụ thể, thành phần truy xuất sẽ tìm kiếm thông qua cơ sở dữ liệu vectơ để xác định thông tin liên quan.
- Tạo văn bản bằng LLM: Sử dụng mô hình ngôn ngữ lớn để tạo văn bản đầu ra dựa trên thông tin được truy xuất từ cơ sở dữ liệu vectơ.
Mô-đun chính
SDK AI Edge RAG cung cấp các mô-đun và API chính sau đây cho quy trình RAG:
- Mô hình ngôn ngữ: Các mô hình LLM có API câu lệnh mở, cục bộ (trên thiết bị) hoặc dựa trên máy chủ. API này dựa trên giao diện LanguageModel.
- Mô hình nhúng văn bản: Chuyển đổi văn bản có cấu trúc và không có cấu trúc thành các vectơ nhúng để tìm kiếm ngữ nghĩa. API này dựa trên giao diện Embedder.
- Kho vectơ: Kho vectơ lưu trữ các phần nhúng và siêu dữ liệu bắt nguồn từ các đoạn dữ liệu. Bạn có thể truy vấn để nhận các đoạn tương tự hoặc các đoạn khớp chính xác. API này dựa trên giao diện VectorStore.
- Bộ nhớ ngữ nghĩa: Đóng vai trò là trình truy xuất ngữ nghĩa để truy xuất các đoạn liên quan hàng đầu trong số k đoạn dựa trên một truy vấn. API này dựa trên giao diện SemanticMemory.
- Phân đoạn văn bản: Phân tách dữ liệu người dùng thành các phần nhỏ hơn để tạo điều kiện lập chỉ mục. API này dựa trên giao diện TextChunker.
SDK cung cấp các chuỗi kết hợp một số thành phần RAG trong một quy trình duy nhất. Bạn có thể sử dụng chuỗi để điều phối các mô hình truy vấn và truy xuất. API này dựa trên giao diện Chain. Để bắt đầu, hãy thử Chuỗi truy xuất và suy luận hoặc Chuỗi truy xuất.