AI Edge RAG SDK ofron komponentët themelorë për të ndërtuar një tubacion të gjenerimit të shtuar (RAG) me LLM Inference API. Një tubacion RAG u siguron LLM-ve akses në të dhënat e ofruara nga përdoruesi, të cilat mund të përfshijnë informacione të përditësuara, të ndjeshme ose specifike për domenin. Me aftësitë e shtuara të marrjes së informacionit nga RAG, LLM-të mund të gjenerojnë përgjigje më të sakta dhe të vetëdijshme për kontekstin për raste të veçanta përdorimi.
AI Edge RAG SDK është i disponueshëm për Android dhe mund të ekzekutohet plotësisht në pajisje. Filloni të përdorni SDK-në duke ndjekur udhëzuesin Android , i cili ju udhëzon në një zbatim bazë të një aplikacioni shembullor duke përdorur RAG.
Gazsjellësi RAG
Vendosja e një tubacioni RAG me AI Edge RAG SDK përmban hapat kryesorë të mëposhtëm:
- Importi i të dhënave : Jep të dhënat tekstuale që LLM do të përdorë kur gjeneron output.
- Ndani dhe indeksoni të dhënat : Ndani të dhënat në copa të vogla për t'u indeksuar në një bazë të dhënash.
- Gjeneroni ngulitje : Përdorni një embedder për të vektorizuar pjesët për t'i ruajtur në një bazë të dhënash vektoriale.
- Marrja e informacionit : Përcaktoni se si informacioni përkatës identifikohet dhe merret për të adresuar kërkesat e përdoruesit. Për një kërkesë të caktuar, komponenti i rikthimit kërkon nëpër bazën e të dhënave vektoriale për të identifikuar informacionin përkatës.
- Gjeneroni tekst me LLM : Përdorni një model të madh gjuhësor për të gjeneruar tekst dalës bazuar në informacionin e marrë nga baza e të dhënave vektoriale.
Modulet kryesore
AI Edge RAG SDK ofron modulet kryesore dhe API-të e mëposhtme për tubacionin RAG:
- Modelet e gjuhës : Modelet LLM me API me prompt të hapur, qoftë lokal (në pajisje) ose të bazuara në server. API bazohet në ndërfaqen LanguageModel .
- Modelet e ngulitjes së tekstit : Shndërroni tekstin e strukturuar dhe të pastrukturuar në vektorë të integruar për kërkimin semantik. API bazohet në ndërfaqen Embedder .
- Dyqane vektoriale : Dyqani i vektorëve ruan futjet dhe meta të dhënat që rrjedhin nga pjesët e të dhënave. Mund të kërkohet për të marrë pjesë të ngjashme ose ndeshje të sakta. API bazohet në ndërfaqen VectorStore .
- Kujtesa semantike : Shërbejë si një rigjenerues semantik për marrjen e pjesëve përkatëse të top-k të dhëna një pyetje. API bazohet në ndërfaqen SemanticMemory .
- Thyerja e tekstit : Ndan të dhënat e përdoruesit në pjesë më të vogla për të lehtësuar indeksimin. API bazohet në ndërfaqen TextChunker .
SDK ofron zinxhirë, të cilët kombinojnë disa komponentë RAG në një tubacion të vetëm. Ju mund të përdorni zinxhirë për të orkestruar modelet e rikthimit dhe pyetjes. API bazohet në ndërfaqen e zinxhirit . Për të filluar, provoni zinxhirin Retrieval and Inference ose zinxhirin Retrieval .