AI Edge RAG SDK, LLM Inference API ile almayla artırılmış üretim (RAG) işlem hattı oluşturmak için temel bileşenleri sağlar. Bir RAG ardışık düzeni, LLM'lerin kullanıcı tarafından sağlanan verilere erişmesini sağlar. Bu veriler güncellenmiş, hassas veya alana özgü bilgileri içerebilir. RAG'nin eklediği bilgi alma özellikleriyle LLM'ler, belirli kullanım alanları için daha doğru ve bağlama duyarlı yanıtlar üretebilir.
AI Edge RAG SDK, Android için kullanılabilir ve tamamen cihaz üzerinde çalıştırılabilir. RAG kullanarak örnek bir uygulamanın temel uygulamasını adım adım açıklayan Android kılavuzunu inceleyerek SDK'yı kullanmaya başlayın.
RAG Ardışık Düzeni
AI Edge RAG SDK ile RAG ardışık düzeni oluşturmak için aşağıdaki temel adımlar uygulanır:
- Verileri içe aktarma: LLM'nin çıkış oluştururken kullanacağı metin verilerini sağlayın.
- Verileri bölme ve dizine ekleme: Verileri, bir veritabanında dizine eklemek için küçük parçalara ayırın.
- Yerleştirmeler oluşturma: Vektör veritabanında depolanacak parçaları vektörleştirmek için bir yerleştirici kullanın.
- Bilgi alma: Kullanıcı istemlerine yanıt vermek için alakalı bilgilerin nasıl tanımlanacağını ve alınacağını tanımlayın. Alma bileşeni, belirli bir istem için ilgili bilgileri belirlemek üzere vektör veritabanında arama yapar.
- LLM ile metin oluşturma: Vektör veritabanından alınan bilgilere göre çıkış metni oluşturmak için büyük dil modeli kullanın.
Temel Modüller
AI Edge RAG SDK, RAG işlem hattı için aşağıdaki temel modülleri ve API'leri sağlar:
- Dil Modelleri: Açık istem API'si içeren LLM modelleri (cihaz üzerinde veya sunucu tabanlı). API, LanguageModel arayüzünü temel alır.
- Metin Yerleştirme Modelleri: Yapılandırılmış ve yapılandırılmamış metinleri semantik arama için yerleştirme vektörlerine dönüştürün. API, Embedder arayüzünü temel alır.
- Vektör depoları: Vektör deposu, veri parçalarından elde edilen yerleştirmeleri ve meta verileri tutar. Benzer parçalar veya tam eşleşmeler elde etmek için sorgulanabilir. API, VectorStore arayüzünü temel alır.
- Semantik Bellek: Bir sorgu verildiğinde en alakalı k parçayı almak için semantik alıcı olarak görev yap. API, SemanticMemory arayüzünü temel alır.
- Metin Parçalama: Kullanıcı verilerini dizine eklemeyi kolaylaştırmak için daha küçük parçalara böler. API, TextChunker arayüzünü temel alır.
SDK, birkaç RAG bileşenini tek bir işlem hattında birleştiren zincirler sağlar. Alma ve sorgu modellerini düzenlemek için zincirleri kullanabilirsiniz. API, Chain arayüzünü temel alır. Başlamak için Retrieval and Inference chain (Alma ve Çıkarım Zinciri) veya Retrieval chain (Alma Zinciri) seçeneğini deneyin.