AI Edge RAG SDK'sı, LLM Tahmini API ile bir Almayla Artırılmış Üretim (RAG) ardışık düzeni oluşturmak için temel bileşenleri sağlar. RAG ardışık düzeni, LLM'lere güncellenmiş, hassas veya alana özgü bilgiler içerebilecek kullanıcı tarafından sağlanan verilere erişim sağlar. RAG'den eklenen bilgi alma özellikleri sayesinde LLM'ler belirli kullanım alanları için daha doğru ve bağlama duyarlı yanıtlar üretebilir.
AI Edge RAG SDK'sı Android için kullanılabilir ve tamamen cihaz üzerinde çalıştırılabilir. RAG'yi kullanarak örnek bir uygulamanın temel uygulama sürecinde size yol gösterecek Android kılavuzunu uygulayarak SDK'yı kullanmaya başlayın.
RAG Ardışık Düzen
AI Edge RAG SDK'sı ile bir RAG ardışık düzeni oluşturmak aşağıdaki temel adımları içerir:
- Verileri içe aktarın: LLM'nin çıkış oluştururken kullanacağı metin verilerini sağlayın.
- Verileri bölme ve dizine ekleme: Verileri bir veritabanında dizine eklemek için küçük parçalara ayırın.
- Gömülü öğeler oluşturma: Bir vektör veritabanında depolanacak parçaları vektörleştirmek için bir yerleştirici kullanın.
- Bilgi alma: Kullanıcı istemlerini yanıtlamak için alakalı bilgilerin nasıl tanımlanacağını ve alınacağını tanımlayın. Belirli bir istem için alma bileşeni, ilgili bilgileri belirlemek üzere vektör veritabanında arama yapar.
- LLM ile metin oluşturma: Vektör veritabanından alınan bilgilere göre çıkış metni oluşturmak için büyük dil modeli kullanın.
Önemli Modüller
AI Edge RAG SDK'sı, RAG ardışık düzeni için aşağıdaki temel modülleri ve API'leri sağlar:
- Dil modelleri: Açık istem API'si olan yerel (cihaz üzerinde) veya sunucu tabanlı LLM modelleri. API, LanguageModel arayüzünü temel alır.
- Metin Yerleştirme Modelleri: Yapılandırılmış ve yapılandırılmamış metinleri, semantik arama için yerleştirme vektörlerine dönüştürün. API, Embedder arayüzünü temel alır.
- Vektör Depoları: Vektör deposu, veri parçalarından elde edilen yerleştirmeleri ve meta verileri tutar. Benzer parçalar veya tam eşleşmeler elde etmek için sorgulanabilir. API, VectorStore arayüzünü temel alır.
- Anlamsal Bellek: Bir sorgu verildiğinde en alakalı k parçayı almak için anlamsal bir alıcı görevi görür. API, SemanticMemory arayüzünü temel alır.
- Metin parçalara ayırma: Dizine eklemeyi kolaylaştırmak için kullanıcı verilerini daha küçük parçalara ayırır. API, TextChunker arayüzünü temel alır.
SDK, birden fazla RAG bileşenini tek bir ardışık düzende birleştiren zincirler sağlar. Alma ve sorgu modellerini koordine etmek için zincirleri kullanabilirsiniz. API, Chain arayüzünü temel alır. Başlamak için Alma ve Çıkarma zincirini veya Alma zincirini deneyin.