Pakiet AI Edge RAG SDK zawiera podstawowe komponenty do tworzenia potoku przetwarzania RAG (wyszukiwanie rozszerzone przez generowanie) za pomocą interfejsu LLM Inference API. RAG zapewnia LLM dostęp do danych przekazywanych przez użytkowników, które mogą zawierać zaktualizowane informacje, dane wrażliwe lub informacje dotyczące domeny. Dzięki dodaniu możliwości wyszukiwania informacji z RAG modele LLM mogą generować dokładniejsze odpowiedzi z uwzględnieniem kontekstu w przypadku konkretnych zastosowań.
Pakiet SDK AI Edge RAG jest dostępny na Androida i może być uruchamiany całkowicie na urządzeniu. Aby zacząć korzystać z pakietu SDK, postępuj zgodnie z przewodnikiem dotyczącym Androida, który zawiera podstawowe informacje o implementacji przykładowej aplikacji za pomocą RAG.
Potok RAG
Konfigurowanie potoku RAG za pomocą pakietu AI Edge RAG SDK obejmuje te kluczowe kroki:
- Dane do importowania: podaj dane tekstowe, których LLM będzie używać do generowania danych wyjściowych.
- Podziel i zindeksuj dane: podziel dane na małe fragmenty na potrzeby indeksowania w bazie danych.
- Generowanie wektorów dystrybucyjnych: użyj narzędzia do wektoryzacji, aby wektoryzować fragmenty do przechowywania w bazie danych wektorów.
- Pobieranie informacji: określ, jak identyfikować i pobierać odpowiednie informacje, aby odpowiadać na prośby użytkowników. W przypadku danego promptu komponent odzyskiwania danych przeszukuje bazę danych wektorów, aby znaleźć odpowiednie informacje.
- Generowanie tekstu za pomocą modelu LLM: użyj dużego modelu językowego do wygenerowania tekstu na podstawie informacji pobranych z bazy danych wektorów.
Kluczowe moduły
Pakiet SDK AI Edge RAG udostępnia te kluczowe moduły i interfejsy API dla potoku RAG:
- Modele językowe: modele LLM z interfejsem open-prompt, lokalnie (na urządzeniu) lub na serwerze. Interfejs API jest oparty na interfejsie LanguageModel.
- Modele wektorów tekstowych: umożliwiają konwertowanie tekstu uporządkowanego i nieuporządkowanego na wektory embeddingu na potrzeby wyszukiwania semantycznego. Interfejs API jest oparty na interfejsie Embedder.
- Magazyny wektorów: magazyn wektorów zawiera wektory i metadane wyprowadzone z kawałków danych. Można go użyć do uzyskania podobnych fragmentów lub dopasowań ścisłych. Interfejs API jest oparty na interfejsie VectorStore.
- Pamięć semantyczna: służy do semantycznego pobierania najbardziej odpowiednich fragmentów w zależności od zapytania. Interfejs API jest oparty na interfejsie SemanticMemory.
- Dzielenie tekstu na fragmenty: dzieli dane użytkownika na mniejsze części, aby ułatwić indeksowanie. Interfejs API jest oparty na interfejsie TextChunker.
Pakiet SDK udostępnia łańcuchy, które łączą kilka komponentów RAG w jednym procesie. Łańcuchów możesz używać do koordynowania modeli wyszukiwania i zapytań. Interfejs API jest oparty na interfejsie Chain. Aby rozpocząć, wypróbuj łańcuch odzyskiwania i wyciągania wniosków lub łańcuch odzyskiwania.