Udhëzues AI Edge RAG

AI Edge RAG SDK ofron komponentët themelorë për të ndërtuar një tubacion të Gjenerimit të Shtuar të Rikthimit (RAG) me API-në e Inference LLM. Një tubacion RAG u ofron LLM-ve qasje në të dhënat e ofruara nga përdoruesi, të cilat mund të përfshijnë informacione të azhurnuara, të ndjeshme ose specifike për domenin. Me aftësitë e shtuara të rikthimit të informacionit nga RAG, LLM-të mund të gjenerojnë përgjigje më të sakta dhe të ndërgjegjshme për kontekstin për raste specifike përdorimi.

AI Edge RAG SDK është i disponueshëm për Android dhe mund të ekzekutohet plotësisht në pajisje. Filloni të përdorni SDK duke ndjekur udhëzuesin për Android , i cili ju udhëzon përmes një implementimi bazë të një aplikacioni shembull duke përdorur RAG.

Tubacioni RAG

Ngritja e një tubacioni RAG me AI Edge RAG SDK përmban hapat kryesorë të mëposhtëm:

  1. Importo të dhëna : Jepni të dhënat tekstuale që LLM do të përdorë kur gjeneron rezultatin.
  2. Ndani dhe indeksoni të dhënat : Ndani të dhënat në copa të vogla për indeksim në një bazë të dhënash.
  3. Gjeneroni ngulitje : Përdorni një ngulitës për të vektorizuar chunk-et për t'i ruajtur në një bazë të dhënash vektoriale.
  4. Marrja e informacionit : Përcaktoni se si identifikohet dhe merret informacioni përkatës për t'iu përgjigjur kërkesave të përdoruesit. Për një kërkesë të caktuar, komponenti i marrjes kërkon në bazën e të dhënave vektoriale për të identifikuar informacionin përkatës.
  5. Gjeneroni tekst me LLM : Përdorni një model të madh gjuhësor për të gjeneruar tekst dalës bazuar në informacionin e marrë nga baza e të dhënave vektoriale.

Modulet kryesore

AI Edge RAG SDK ofron modulet dhe API-të kryesore të mëposhtme për tubacionin RAG:

  • Modelet Gjuhësore : Modelet LLM me API me prompt të hapur, qoftë lokale (në pajisje) ose të bazuara në server. API bazohet në ndërfaqen LanguageModel .
  • Modelet e Integrimit të Tekstit : Konvertoni tekstin e strukturuar dhe të pastrukturuar në vektorë integrimi për kërkim semantik. API bazohet në ndërfaqen Embedder .
  • Depozitat Vektoriale : Depozita vektoriale mban të dhënat e integruara dhe meta të dhënat e nxjerra nga pjesët e të dhënave. Mund të pyetet për të marrë pjesë të ngjashme ose përputhje të sakta. API bazohet në ndërfaqen VectorStore .
  • Kujtesa Semantike : Shërben si një rikuperues semantik për rikuperimin e pjesëve kryesore relevante të një pyetjeje. API bazohet në ndërfaqen SemanticMemory .
  • Ndarja e tekstit : Ndan të dhënat e përdoruesit në pjesë më të vogla për të lehtësuar indeksimin. API bazohet në ndërfaqen TextChunker .

SDK ofron zinxhirë, të cilët kombinojnë disa komponentë RAG në një tubacion të vetëm. Ju mund të përdorni zinxhirë për të orkestruar modelet e rikuperimit dhe pyetjeve. API bazohet në ndërfaqen Chain . Për të filluar, provoni zinxhirin Retrieval and Inference ose Retrieval chain .