AI Edge RAG SDK มีคอมโพเนนต์พื้นฐานในการสร้างไปป์ไลน์ Retrieval Augmented Generation (RAG) ด้วย LLM Inference API ไปป์ไลน์ RAG ช่วยให้ LLM เข้าถึงข้อมูลที่ได้จากผู้ใช้ ซึ่งอาจรวมถึงข้อมูลที่อัปเดตแล้ว ข้อมูลที่ละเอียดอ่อน หรือข้อมูลเฉพาะโดเมน ความสามารถในการดึงข้อมูลเพิ่มเติมจาก RAG ช่วยให้ LLM สร้างคำตอบที่แม่นยำและคำนึงถึงบริบทมากขึ้นสำหรับ Use Case ที่เฉพาะเจาะจง
AI Edge RAG SDK พร้อมใช้งานสำหรับ Android และสามารถเรียกใช้บนอุปกรณ์ได้โดยสมบูรณ์ เริ่มใช้ SDK โดยทำตามคู่มือ Android ซึ่งจะแนะนำการติดตั้งใช้งานพื้นฐานของแอปพลิเคชันตัวอย่างโดยใช้ RAG
ไปป์ไลน์ RAG
การตั้งค่าไปป์ไลน์ RAG ด้วย AI Edge RAG SDK มีขั้นตอนสำคัญต่อไปนี้
- นำเข้าข้อมูล: ระบุข้อมูลข้อความที่ LLM จะใช้เมื่อ สร้างเอาต์พุต
- แยกและจัดทำดัชนีข้อมูล: แบ่งข้อมูลออกเป็นส่วนเล็กๆ เพื่อจัดทำดัชนี ในฐานข้อมูล
- สร้างการฝัง: ใช้โปรแกรมฝังเพื่อแปลงเวกเตอร์ของก้อนข้อมูลเพื่อจัดเก็บใน ฐานข้อมูลเวกเตอร์
- ดึงข้อมูล: กำหนดวิธีระบุและดึงข้อมูลที่เกี่ยวข้องเพื่อตอบพรอมต์ของผู้ใช้ สําหรับพรอมต์ที่ระบุ คอมโพเนนต์การดึงข้อมูล จะค้นหาในฐานข้อมูลเวกเตอร์เพื่อระบุข้อมูลที่เกี่ยวข้อง
- สร้างข้อความด้วย LLM: ใช้โมเดลภาษาขนาดใหญ่เพื่อสร้างข้อความเอาต์พุต ตามข้อมูลที่ดึงมาจากฐานข้อมูลเวกเตอร์
โมดูลหลัก
AI Edge RAG SDK มีโมดูลและ API หลักต่อไปนี้สำหรับไปป์ไลน์ RAG
- โมเดลภาษา: โมเดล LLM ที่มี API แบบเปิดพรอมต์ ไม่ว่าจะอยู่ในเครื่อง (ในอุปกรณ์) หรืออิงตามเซิร์ฟเวอร์ API นี้อิงตามอินเทอร์เฟซ LanguageModel
- โมเดลการฝังข้อความ: แปลงข้อความที่มีโครงสร้างและไม่มีโครงสร้างเป็น เวกเตอร์การฝังสำหรับการค้นหาเชิงความหมาย API อิงตามอินเทอร์เฟซ Embedder
- ที่เก็บเวกเตอร์: ที่เก็บเวกเตอร์จะจัดเก็บการฝังและข้อมูลเมตา ที่ได้จากก้อนข้อมูล โดยสามารถค้นหาเพื่อรับก้อนข้อมูลที่คล้ายกันหรือที่ตรงกัน ทุกประการ API จะอิงตามอินเทอร์เฟซ VectorStore
- หน่วยความจำเชิงความหมาย: ทำหน้าที่เป็นเครื่องมือดึงข้อมูลเชิงความหมายเพื่อดึงข้อมูลก้อนข้อมูลที่เกี่ยวข้อง k อันดับแรกเมื่อได้รับคำค้นหา API นี้อิงตามอินเทอร์เฟซ SemanticMemory
- การแบ่งข้อความ: แบ่งข้อมูลผู้ใช้เป็นชิ้นเล็กๆ เพื่อให้จัดทำดัชนีได้ง่ายขึ้น API นี้อิงตามอินเทอร์เฟซ TextChunker
SDK มีเชนซึ่งรวมคอมโพเนนต์ RAG หลายรายการไว้ในไปป์ไลน์เดียว คุณสามารถใช้ Chain เพื่อจัดระเบียบโมเดลการดึงข้อมูลและการค้นหา API อิงตามอินเทอร์เฟซ Chain หากต้องการเริ่มต้นใช้งาน ให้ลองใช้เชนการดึงข้อมูลและการอนุมาน หรือเชนการดึงข้อมูล