Pakiet AI Edge RAG SDK zawiera podstawowe komponenty do tworzenia potoku przetwarzania RAG (wyszukiwanie rozszerzone przez generowanie) za pomocą interfejsu LLM Inference API. RAG pipeline zapewnia LLM dostęp do danych przekazywanych przez użytkowników, które mogą zawierać zaktualizowane informacje, informacje poufne lub informacje o domenie. Dzięki dodaniu możliwości wyszukiwania informacji z RAG modele LLM mogą generować dokładniejsze odpowiedzi z uwzględnieniem kontekstu w przypadku konkretnych zastosowań.
Pakiet SDK AI Edge RAG jest dostępny na Androida i może być uruchamiany całkowicie na urządzeniu. Aby zacząć korzystać z pakietu SDK, postępuj zgodnie z przewodnikiem po Androidzie, który zawiera podstawowe informacje o implementacji przykładowej aplikacji za pomocą RAG.
Potok RAG
Konfigurowanie potoku RAG za pomocą pakietu AI Edge RAG SDK obejmuje te kluczowe kroki:
- Dane do importowania: podaj dane tekstowe, których LLM będzie używać do generowania danych wyjściowych.
- Podziel i zindeksuj dane: podziel dane na małe fragmenty, aby zindeksować je w bazie danych.
- Generowanie wektorów dystrybucyjnych: użyj narzędzia do wektoryzacji, aby wektoryzować kawałki danych, które mają być przechowywane w bazie danych wektorów.
- Pobieranie informacji: określ, jak identyfikować i pobierać odpowiednie informacje, aby odpowiadać na prośby użytkowników. W przypadku danego prompta komponent odzyskiwania danych przeszukuje bazę danych wektorów, aby znaleźć odpowiednie informacje.
- Generowanie tekstu za pomocą modelu LLM: użyj dużego modelu językowego do wygenerowania tekstu na podstawie informacji pobranych z bazy danych wektorów.
Kluczowe moduły
Pakiet SDK AI Edge RAG udostępnia te kluczowe moduły i interfejsy API w ramach potoku RAG:
- Modele językowe: modele LLM z interfejsem open-prompt, lokalnie (na urządzeniu) lub na serwerze. Interfejs API jest oparty na interfejsie LanguageModel.
- Modele wektorów dystrybucyjnych tekstu: umożliwiają konwertowanie tekstu ustrukturyzowanego i nieustrukturyzowanego na wektory dystrybucyjne w celu wyszukiwania semantycznego. Interfejs API jest oparty na interfejsie Embedder.
- Magazyny wektorów: magazyn wektorów przechowuje wektory i metadane wygenerowane na podstawie fragmentów danych. Można go użyć do uzyskania podobnych fragmentów lub dopasowań ścisłych. Interfejs API jest oparty na interfejsie VectorStore.
- Pamięć semantyczna: służy do semantycznego pobierania najbardziej odpowiednich fragmentów w zależności od zapytania. Interfejs API jest oparty na interfejsie SemanticMemory.
- Dzielenie tekstu na fragmenty: dzieli dane użytkownika na mniejsze części, aby ułatwić indeksowanie. Interfejs API jest oparty na interfejsie TextChunker.
Pakiet SDK udostępnia łańcuchy, które łączą kilka komponentów RAG w jednym procesie. Łańcuchów możesz używać do koordynowania modeli wyszukiwania i zapytań. Interfejs API jest oparty na interfejsie Chain. Aby rozpocząć, wypróbuj łańcuch wyszukiwania i wyciągania wniosków lub łańcuch wyszukiwania.