Dopasowywanie modeli

Ujednolicenie to proces zarządzania zachowaniem generatywnej AI (GenAI), który ma na celu zapewnienie zgodności jej wyników z potrzebami i oczekiwaniami Twoich produktów. To otwarty, aktywny obszar badawczy. Trzeba aby zdecydować, co oznacza dopasowanie modelu do produktu i jak jeśli planujesz to egzekwować. Z tego dokumentu dowiesz się o 2 technikach – szablonach promptów i dostrajaniu modelu – oraz narzędziach, które umożliwiają refaktoryzację i debugowanie promptów, które możesz wykorzystać do osiągnięcia celów związanych z dopasowaniem. Więcej informacji o wyrównywaniu modelu celów i podejść znajdziesz, Sztuczna inteligencja, wartości i dopasowanie.

Szablony promptów

Szablony promptów, zwane też promptami systemowymi, dostarczają kontekstu dotyczącego danych wejściowych użytkownika i wyników modelu. W zależności od przypadku użycia mogą to być instrukcje systemowe i przykłady z kilku przykładów, które pomagają modelowi uzyskać bezpieczniejsze i wyższej jakości wyniki. Jeśli na przykład Twoim celem jest tworzenie wysokiej jakości streszczeń publikacji naukowych, możesz użyć takiego szablonu prompta:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Gdzie {{article}} to miejsce zastępcze dla artykułu, który jest streszczany.

Szablony promptów w kontekście mogą znacznie zwiększyć jakość i bezpieczeństwo danych wyjściowych modelu. Tworzenie szablonów promptów może być jednak trudne, wymaga kreatywności, doświadczenia i dużej ilości czasu. Biblioteka Model Alignment udostępnia 2 metody stopniowego ulepszania projektu szablonu prompta za pomocą dużych modeli językowych, takich jak Gemini. Dostępnych jest też wiele przewodników dotyczących promptów, w tym wskazówek dotyczących interfejsu Gemini API i Vertex AI.

Szablony promptów zwykle dają mniej niezawodną kontrolę nad danymi wyjściowymi modelu niż dostrajanie i bardziej podatne na niezamierzone skutki złośliwych danych wejściowych. Aby dokładnie określić, jak dobrze szablon prompta spełnia określone cele związane z bezpieczeństwem, należy użyć zbioru danych do oceny, który nie był używany podczas tworzenia szablonu. Narzędzia do debugowania promptów mogą pomóc Ci również poznać konkretne interakcje między treścią systemu, użytkownika i modelu w promptach widoczne dla modelu. W szczególności mogą one łączyć fragmenty wygenerowanego wyjścia z najbardziej odpowiednimi i wpływowymi treściami w promptach.

Dostrajanie modelu

Dostrajanie modelu rozpoczyna się od punktu kontrolnego, określonej wersji modelu i wykorzystuje zbiór danych, aby doprecyzować działanie modelu. Modele Gemma i inne LLM są dostępne w wersjach z wstępnie wytrenowanych (PT) i dostosowanych do instrukcji (IT). Warianty PT traktują prompt jako prefiks, od którego należy kontynuować, a IT dostosował dodatkowo dostrojono wersje tak, aby traktowały prompt jako zbiór instrukcji z opisem wykonania zadania. W większości przypadków należy zacząć od wariantu IT, aby odziedziczyć podstawowe zalety dotyczące wykonywania instrukcji i bezpieczeństwa, ale aby osiągnąć konkretne cele aplikacji, może być konieczne dostosowanie ustawień.

Dostrajanie modeli pod kątem bezpieczeństwa jest delikatną i trudną kwestią. Jeśli model jest zbyt dostrojony, może utracić inne ważne funkcje. Przykładem jest problem z interferencją. Co więcej, bezpieczne zachowanie modelu zależy od kontekstu. To, co jest bezpieczne w przypadku jednej aplikacji, nie są bezpieczne dla innych. Jeśli okaże się, że Twój model nie nadaje się do dalszego dostosowywania zabezpieczeń, rozważ zastosowanie zabezpieczeń, które zamiast tego egzekwują zasady dotyczące zachowań.

2 najbardziej znane podejścia do dostrajania LLM to dostrajanie nadzorowane (SFT) i uczenie się przez wzmacnianie (RL).

• Dostrajanie nadzorowane (SFT) wykorzystuje zbiór danych z przykładami, które kodują oczekiwane działanie aplikacji przez oznaczanie danych etykietami. Użycie SFT do: do dostrojenia modelu pod kątem bezpieczeństwa, potrzebny jest zbiór danych z przykładami i niebezpiecznych zachowań, aby model mógł nauczyć się rozróżniać różnice między nimi.
• Uczenie przez wzmacnianie na podstawie preferencji użytkowników (RLHF) wykorzystuje model nagród do oceniania generacji LLM na podstawie zgodności z zasadami behawioralnymi. Podobnie jak w przypadku SFT model nagród RLHF trzeba wytrenować zarówno na niebezpiecznych i bezpiecznych zachowań, aby wygenerować odpowiedni wynik. Choć droższy model RLHF może zapewnić lepsze wyniki, ma większą swobodę kodowania niuansów w punktacji.

W przypadku obu metod ostateczne wyniki zależą w dużej mierze od jakości swoje dane dostrajania. Gdy masz już odpowiednie dane, możesz dostrajać model Gemma za pomocą KerasNLP.

Samouczek dotyczący dostrajania instrukcji Gemma

Uruchom Google Colab

Wymagania dotyczące danych i ich charakterystyka

Badania pokazują, że jakość danych jest często ważniejsza niż więc skup się na przykładach i zastanów się, jakość danych (Touvron, 2023 r.; Zhou, 2023 r.).

Dwa najpopularniejsze sposoby tworzenia danych treningowych i oceny na potrzeby dostrajania to generowanie danych wejściowych przez użytkownika ręcznie lub za pomocą LLM. Dane generowane przez ludzi są często wyższej jakości i wymagają mniejszej kontroli niż dane wygenerowane przez LLM, ale trudniej je skalować i często są droższe.

Nadzorowane dane dostrajania

Dane na potrzeby dostosowywania bezpieczeństwa w dużej mierze opierają się na przykładach zapytań użytkowników mogą wywołać reakcję modelową naruszającą Twoją politykę treści. Na etapie SFT model jest zwykle dostosowywany do par zapytań z konfliktowymi odpowiedziami. Istnieją 2 rodzaje zapytań nieprzyjaznych. Zapytania o dobrych zamiarach, które mogą przypadkowo spowodować niezamierzone zastosowanie. działania i zapytania zaprojektowane przez agresywnych użytkowników, którzy chcą system może działać w niezamierzony sposób. Więcej informacji: Przewodnik ocenianie modelu i systemu pod kątem bezpieczeństwa.

Przykład punktu danych służącego do dokładnego dostosowania ustawień bezpieczeństwa

Dane RL

Uczenie się przez wzmocnienie to proces dwuetapowy. Pierwszym etapem jest szkolenie Drugim modelem jest użycie modelu nagród do trenowania model aplikacji. Do trenowania modelu nagród potrzebne są zapytania użytkowników, które zwykle zawierają 2 możliwe odpowiedzi i etykietę wskazującą, która z nich powinna być preferowana. Typowy punkt danych wygląda tak:

Przykład punktu danych o bezpieczeństwie w przypadku RLHF

W drugim kroku metody RLHF potrzebujesz tylko zbioru zapytań użytkowników. W przypadku bezpieczeństwa musisz starannie zrównoważyć zbiór danych za pomocą zapytań nieprzyjaznych i przyjaznych. Więcej informacji o danych wrogich znajdziesz w sekcji Ocenianie modelu i systemu pod kątem bezpieczeństwa.

Sprawdzone metody dostosowywania modelu

Jak już wspomnieliśmy, jakość dostrajania wpływa na jakość aby uzyskać ostateczny model. Podczas tworzenia zbioru danych do doboru parametrów należy wziąć pod uwagę te czynniki:

• Zakres danych: zbiór danych musi obejmować wszystkie zasady dotyczące treści w przypadku każdego zastosowania produktu (np. odpowiadania na pytania, podsumowywania i wywoływania wniosków).
• Różnorodność danych: różnorodność zbioru danych jest kluczowa dla prawidłowej regulacji modelu i jego zastosowania do wielu cech. Może być konieczne uwzględnienie zapytań o różnej długości, formuł (potwierdzeń, pytań itp.), tonacji, tematów, poziomów złożoności, a także terminów związanych z tożsamością i uwzględnianiem danych demograficznych.
• Usuwanie duplikatów: podobnie jak w przypadku danych do wstępnego trenowania, usunięcie duplikatów zmniejsza ryzyko zapamiętania danych do strojenia, a także zmniejsza rozmiar zestawu danych do strojenia.
• Zanieczyszczenie zbiorami oceny: dane używane do oceny powinny zostaną usunięte z danych dostrajania.
• Odpowiedzialne praktyki dotyczące danych wykraczają poza filtrowanie: błędnie opisane dane są częstym źródłem błędów modelu. Przekaż jasne instrukcje osobom odpowiedzialnym za oznaczanie etykietami danych (czyli członkom zespołu lub zewnętrznym oceniającym, jeśli używasz platformy do oceny przez użytkowników). Postaraj się też o zróżnicowanie wśród oceniających, aby uniknąć niesprawiedliwego stronniczenia.

Materiały dla programistów

• Zbiory danych o wysokiej jakości dostrajania, w tym dane związane z bezpieczeństwem:
  • Zbiór danych firmy Anthropic do uczenia się przez wzmacnianie na podstawie opinii użytkowników
  • Zbiory danych LLaMA chronione pod kątem bezpieczeństwa
• Przewodnik Google z informacjami o ludziach + AI zawiera szczegółowe informacje odpowiedzialnego podejścia do zbierania i przygotowania danych.
• Strona LIT