מדריך RAG ל-AI Edge

ה-SDK של AI Edge RAG מספק את הרכיבים הבסיסיים ליצירת צינור עיבוד נתונים של יצירת נתונים משופרת לאחזור (RAG) באמצעות LLM Inference API. צינור עיבוד נתונים של RAG מספק ל-LLM גישה לנתונים שסופקו על ידי משתמשים, שיכולים לכלול מידע מעודכן, רגיש או ספציפי לדומיין. בעזרת יכולות אחזור המידע הנוספות של RAG, מודלים של שפה גדולה יכולים ליצור תשובות מדויקות יותר ומותאמות הקשר יותר בתרחישי שימוש ספציפיים.

ערכת ה-SDK של AI Edge RAG זמינה ל-Android וניתן להריץ אותה במלואה במכשיר. כדי להתחיל להשתמש ב-SDK, אפשר לעיין במדריך ל-Android, שבו מוסבר איך מטמיעים אפליקציה לדוגמה באמצעות RAG.

צינור עיבוד נתונים של RAG

כדי להגדיר צינור עיבוד נתונים של RAG באמצעות AI Edge RAG SDK, צריך לבצע את השלבים העיקריים הבאים:

1. ייבוא נתונים: מציינים את הנתונים הטקסטואליים שבהם ה-LLM ישתמש כדי ליצור פלט.
2. פיצול הנתונים והוספה שלהם לאינדקס: פיצול הנתונים למקטעים קטנים להוספה לאינדקס במסד נתונים.
3. יצירת הטמעות (embeddings): משתמשים ב-embedder כדי להפוך את הקטעים לווקטור ולשמור אותם במסד נתונים של וקטורים.
4. אחזור מידע: מגדירים איך מזהים ומאחזרים מידע רלוונטי כדי לענות להנחיות של המשתמשים. רכיב האחזור מחפש במסד הנתונים של הווקטורים מידע רלוונטי להנחיה נתונה.
5. יצירת טקסט באמצעות LLM: שימוש במודל שפה גדול (LLM) כדי ליצור טקסט פלט על סמך המידע שאוחזר ממסד הנתונים של הווקטורים.

מודולים מרכזיים

ערכת ה-SDK של AI Edge RAG מספקת את המודולים והממשקי ה-API העיקריים הבאים לצינור עיבוד הנתונים של RAG:

• מודלים של שפה: מודלים של LLM עם API של הנחיה פתוחה, מקומיים (במכשיר) או מבוססי-שרת. ה-API מבוסס על הממשק LanguageModel.
• מודלים להטמעת טקסט: המרת טקסט מובנה ולא מובנה לווקטורים של הטמעה לצורך חיפוש סמנטי. ה-API מבוסס על הממשק Embedder.
• מאגרי וקטורים: מאגר הוקטורים מכיל את הטמעות הנתונים והמטא-נתונים שמקורם בקטעי הנתונים. אפשר להריץ שאילתות כדי לקבל קטעים דומים או התאמות מדויקות. ה-API מבוסס על הממשק VectorStore.
• זיכרון סמנטי: משמש כאחזור סמנטי לאחזור קטעי המידע הרלוונטיים המובילים (top-k) בהתאם לשאילתה. ה-API מבוסס על הממשק SemanticMemory.
• חלוקת טקסט לקטעים: חלוקת נתוני המשתמשים לקטעים קטנים יותר כדי להקל על ההוספה לאינדקס. ה-API מבוסס על הממשק TextChunker.

ה-SDK מספק שרשראות, שמשלבות כמה רכיבי RAG בצינור עיבוד נתונים אחד. אפשר להשתמש בשרשורים כדי לתזמור מודלים של אחזור ושאילתות. ה-API מבוסס על הממשק Chain. כדי להתחיל, אפשר לנסות את שרשרת אחזור והסקה או את שרשרת אחזור.