Pakiet SDK AI Edge RAG udostępnia podstawowe komponenty do tworzenia potoku generowania rozszerzonego przez wyszukiwanie w zapisanych informacjach (RAG) za pomocą interfejsu LLM Inference API. Potok RAG zapewnia LLM dostęp do danych przekazywanych przez użytkowników, które mogą zawierać zaktualizowane, poufne lub specyficzne dla danej domeny informacje. Dzięki dodatkowym możliwościom wyszukiwania informacji, jakie daje RAG, modele LLM mogą generować dokładniejsze i bardziej kontekstowe odpowiedzi w przypadku konkretnych zastosowań.
Pakiet AI Edge RAG SDK jest dostępny na Androida i może być w całości uruchamiany na urządzeniu. Aby zacząć korzystać z pakietu SDK, postępuj zgodnie z przewodnikiem po Androidzie, który zawiera podstawowe informacje o implementacji przykładowej aplikacji z użyciem RAG.
Potok RAG
Konfigurowanie potoku RAG za pomocą pakietu AI Edge RAG SDK obejmuje te kluczowe kroki:
- Importowanie danych: podaj dane tekstowe, których LLM będzie używać podczas generowania danych wyjściowych.
- Podziel i zindeksuj dane: podziel dane na małe części, aby zindeksować je w bazie danych.
- Generowanie wektorów dystrybucyjnych: użyj narzędzia do tworzenia wektorów dystrybucyjnych, aby przekształcić fragmenty w wektory, które będą przechowywane w bazie danych wektorowych.
- Pobieranie informacji: określ, jak odpowiednie informacje są identyfikowane i pobierane w odpowiedzi na prompty użytkownika. W przypadku danego promptu komponent pobierania przeszukuje bazę danych wektorów, aby zidentyfikować odpowiednie informacje.
- Generowanie tekstu za pomocą LLM: użyj dużego modelu językowego, aby wygenerować tekst wyjściowy na podstawie informacji pobranych z bazy danych wektorów.
Kluczowe moduły
Pakiet AI Edge RAG SDK udostępnia te kluczowe moduły i interfejsy API dla potoku RAG:
- Modele językowe: modele LLM z interfejsem API z otwartym promptem, lokalne (na urządzeniu) lub oparte na serwerze. Interfejs API jest oparty na interfejsie LanguageModel.
- Modele wektorów dystrybucyjnych tekstu: przekształcają tekst uporządkowany i nieuporządkowany w wektory dystrybucyjne na potrzeby wyszukiwania semantycznego. Interfejs API jest oparty na interfejsie Embedder.
- Magazyny wektorów: magazyn wektorów zawiera wektory dystrybucyjne i metadane pochodzące z fragmentów danych. Możesz wysyłać do niego zapytania, aby uzyskać podobne fragmenty lub dokładne dopasowania. Interfejs API jest oparty na interfejsie VectorStore.
- Pamięć semantyczna: służy jako wyszukiwarka semantyczna do pobierania k najbardziej odpowiednich fragmentów na podstawie zapytania. Interfejs API jest oparty na interfejsie SemanticMemory.
- Dzielenie tekstu na części: dzieli dane użytkownika na mniejsze części, aby ułatwić indeksowanie. Interfejs API jest oparty na interfejsie TextChunker.
Pakiet SDK udostępnia łańcuchy, które łączą kilka komponentów RAG w jednym potoku. Łańcuchów możesz używać do koordynowania modeli pobierania i zapytań. Interfejs API jest oparty na interfejsie Chain. Na początek wypróbuj łańcuch pobierania i wnioskowania lub łańcuch pobierania.