AI Edge RAG 指南

AI Edge RAG SDK 提供基本元件，可使用 LLM 推論 API 建構檢索增強生成 (RAG) 管道。RAG 管道可讓 LLM 存取使用者提供的資料，包括最新、私密或特定領域的資訊。有了 RAG 提供的資訊擷取功能，LLM 就能針對特定用途生成更準確且符合情境的回覆。

AI Edge RAG SDK 適用於 Android，且完全可在裝置上執行。請參閱 Android 指南，開始使用 SDK。這份指南會逐步說明如何使用 RAG，基本實作範例應用程式。

RAG 管道

使用 AI Edge RAG SDK 設定 RAG 管線時，請按照下列主要步驟操作：

1. 匯入資料：提供 LLM 生成輸出內容時使用的文字資料。
2. 分割資料並建立索引：將資料分割成小塊，以便在資料庫中建立索引。
3. 生成嵌入項目：使用嵌入器將分塊向量化，並儲存在向量資料庫中。
4. 擷取資訊：定義如何識別及擷取相關資訊，以回應使用者提示。針對特定提示，檢索元件會搜尋向量資料庫，找出相關資訊。
5. 使用 LLM 生成文字：使用大型語言模型，根據從向量資料庫擷取的資訊生成輸出文字。

重要模組

AI Edge RAG SDK 提供下列主要模組和 API，用於 RAG 管道：

• 語言模型：具有開放式提示 API 的 LLM 模型，可以是本機 (裝置端) 或伺服器型。這個 API 是以 LanguageModel 介面為基礎。
• 文字嵌入模型：將結構化和非結構化文字轉換為嵌入向量，以進行語意搜尋。這項 API 以 Embedder 介面為基礎。
• 向量儲存庫：向量儲存庫會保留從資料區塊衍生的嵌入和中繼資料。您可以查詢這項功能，取得類似的區塊或完全相符的結果。這項 API 是以 VectorStore 介面為基礎。
• 語意記憶：做為語意擷取器，根據查詢擷取前 k 個相關區塊。這項 API 以 SemanticMemory 介面為基礎。
• 文字分塊：將使用者資料分割成較小的片段，方便建立索引。這個 API 以 TextChunker 介面為基礎。

SDK 提供鏈結，可將多個 RAG 元件合併到單一管道。您可以使用鏈結來協調擷取和查詢模型。這個 API 是以 Chain 介面為基礎。如要開始使用，請試試擷取和推論鏈或擷取鏈。