Debugowanie promptów za pomocą LIT

Odpowiedzialne podejście do stosowania sztucznej inteligencji (AI) powinno obejmować zasady bezpieczeństwa, dokumenty dotyczące przejrzystościzabezpieczenia. Odpowiedzialne korzystanie z AI to jednak coś więcej niż tylko przestrzeganie list kontrolnych.

Produkty generatywnej AI są stosunkowo nowe, a zachowanie aplikacji może się różnić bardziej niż w przypadku wcześniejszych form oprogramowania. Z tego powodu należy przetestować używane modele, aby sprawdzić przykłady ich działania i zidentyfikować niespodzianki.

Prompty to wszechstronny interfejs do interakcji z generatywną AI. inżynieria i nauka to w równym stopniu sztuka, jak i nauka. Istnieją jednak narzędzia, które mogą pomóc empirycznie ulepszać prompty dla LLM, takie jak Learning Interpretability Tool (LIT). LIT to narzędzie open source do wizualnego analizowania i debugowania modeli AI, które może służyć jako debuger do szybkiej pracy inżynierskiej. Postępuj zgodnie z podanym samouczkiem w usłudze Colab lub Codelab.

Analiza modeli Gemma za pomocą narzędzia LIT

Rozpocznij ćwiczenia z programowania Uruchom Google Colab

Animacja interfejsu użytkownika narzędzia Learning Interpretability Tool (LIT)

Rysunek 1. Interfejs LIT: edytor punktu danych u góry pozwala użytkownikom edytować prompty. U dołu strony moduł LM Salience umożliwia sprawdzenie wyników.

Możesz używać LIT na komputerze lokalnym, w Colab lub w Google Cloud.

Uwzględnij zespoły inne niż techniczne w sondowaniu i eksploracji modeli

Interpretowalność to wysiłek zespołowy, który obejmuje m.in. zasady, przepisy i inne kwestie. Medium wizualne i interaktywna zdolność LIT do badania wyróżnienie i poznanie przykładów mogą pomóc różnym zainteresowanym osobom w dzieleniu się i przekazywać informacje o wynikach. Takie podejście może zapewnić większą różnorodność perspektyw podczas eksploracji modelu, badania i debugowania. Przedstawienie kolegów z zespołu i metod technicznych może pomóc w lepszym poznaniu działania modeli. Ponadto bardziej zróżnicowany zestaw umiejętności w ramach wczesnego testowania modeli może pomóc w odkrywaniu niepożądanych wyników, które można poprawić.