AI Edge RAG SDK, LLM Inference API ile almayla artırılmış üretim (RAG) işlem hattı oluşturmak için temel bileşenleri sağlar. Bir RAG işlem hattı, LLM'lere kullanıcı tarafından sağlanan verilere erişim imkanı sunar. Bu veriler güncellenmiş, hassas veya alana özgü bilgileri içerebilir. RAG'nin eklediği bilgi alma özellikleriyle LLM'ler, belirli kullanım alanları için daha doğru ve bağlama duyarlı yanıtlar üretebilir.
AI Edge RAG SDK, Android için kullanılabilir ve tamamen cihazda çalıştırılabilir. RAG kullanarak örnek bir uygulamanın temel uygulamasını adım adım açıklayan Android kılavuzunu inceleyerek SDK'yı kullanmaya başlayın.
RAG Ardışık Düzeni
AI Edge RAG SDK ile RAG işlem hattı oluşturma aşağıdaki temel adımları içerir:
- Verileri içe aktarma: LLM'nin çıkış oluştururken kullanacağı metin verilerini sağlayın.
- Verileri bölme ve dizine ekleme: Verileri, bir veritabanında dizine eklemek için küçük parçalara ayırın.
- Yerleştirmeler oluşturma: Vektör veritabanında depolanacak parçaları vektörleştirmek için bir yerleştirici kullanın.
- Bilgi alma: Kullanıcı istemlerine yanıt vermek için alakalı bilgilerin nasıl tanımlanacağını ve alınacağını tanımlayın. Alma bileşeni, belirli bir istem için vektör veritabanında arama yaparak ilgili bilgileri tanımlar.
- LLM ile metin oluşturma: Vektör veritabanından alınan bilgilere göre çıkış metni oluşturmak için büyük dil modeli kullanın.
Temel Modüller
AI Edge RAG SDK, RAG işlem hattı için aşağıdaki temel modülleri ve API'leri sağlar:
- Dil Modelleri: Açık istem API'si olan LLM modelleri (yerel (cihaz üzerinde) veya sunucu tabanlı). API, LanguageModel arayüzünü temel alır.
- Metin Yerleştirme Modelleri: Yapılandırılmış ve yapılandırılmamış metinleri semantik arama için yerleştirme vektörlerine dönüştürün. API, Embedder arayüzünü temel alır.
- Vektör depoları: Vektör deposu, veri parçalarından elde edilen yerleştirmeleri ve meta verileri barındırır. Benzer parçalar veya tam eşleşmeler elde etmek için sorgulanabilir. API, VectorStore arayüzünü temel alır.
- Anlamsal Bellek: Bir sorgu verildiğinde en alakalı k parçaları almak için anlamsal bir alıcı olarak kullanılır. API, SemanticMemory arayüzünü temel alır.
- Metin Parçalama: Kullanıcı verilerini dizine eklemeyi kolaylaştırmak için daha küçük parçalara böler. API, TextChunker arayüzünü temel alır.
SDK, birkaç RAG bileşenini tek bir işlem hattında birleştiren zincirler sağlar. Zincirleri, alma ve sorgu modellerini düzenlemek için kullanabilirsiniz. API, Chain arayüzünü temel alır. Başlamak için Retrieval and Inference chain (Alma ve Çıkarım zinciri) veya Retrieval chain (Alma zinciri) seçeneklerini deneyin.