Produkty generatywnej AI są stosunkowo nowe, a zachowanie aplikacji może się różnić bardziej niż w przypadku wcześniejszych form oprogramowania. Z tego powodu należy przetestować używane modele, aby sprawdzić przykłady ich działania i zidentyfikować niespodzianki.
Prompty to wszechstronny interfejs do interakcji z generatywną AI.
inżynieria i nauka to w równym stopniu sztuka, jak i nauka. Istnieją jednak
narzędzia, które mogą pomóc empirycznie ulepszać prompty dla LLM, takie jak
Learning Interpretability Tool (LIT). LIT to narzędzie open source do wizualnego analizowania i debugowania modeli AI, które może służyć jako debuger do szybkiej pracy inżynierskiej. Postępuj zgodnie z podanym samouczkiem w usłudze Colab lub Codelab.
Rysunek 1. Interfejs LIT: edytor punktu danych u góry pozwala użytkownikom edytować prompty. U dołu strony moduł LM Salience umożliwia sprawdzenie wyników.
Uwzględnij zespoły inne niż techniczne w sondowaniu i eksploracji modeli
Interpretowalność to wysiłek zespołowy, który obejmuje m.in.
zasady, przepisy
i inne kwestie. Medium wizualne i interaktywna zdolność LIT do badania
wyróżnienie i poznanie przykładów mogą pomóc
różnym zainteresowanym osobom w dzieleniu się
i przekazywać informacje o wynikach. Takie podejście może zapewnić większą różnorodność perspektyw podczas eksploracji modelu, badania i debugowania. Przedstawienie kolegów z zespołu
i metod technicznych może pomóc
w lepszym poznaniu działania modeli. Ponadto bardziej zróżnicowany zestaw umiejętności w ramach wczesnego testowania modeli może pomóc w odkrywaniu niepożądanych wyników, które można poprawić.
[[["Łatwo zrozumieć","easyToUnderstand","thumb-up"],["Rozwiązało to mój problem","solvedMyProblem","thumb-up"],["Inne","otherUp","thumb-up"]],[["Brak potrzebnych mi informacji","missingTheInformationINeed","thumb-down"],["Zbyt skomplikowane / zbyt wiele czynności do wykonania","tooComplicatedTooManySteps","thumb-down"],["Nieaktualne treści","outOfDate","thumb-down"],["Problem z tłumaczeniem","translationIssue","thumb-down"],["Problem z przykładami/kodem","samplesCodeIssue","thumb-down"],["Inne","otherDown","thumb-down"]],["Ostatnia aktualizacja: 2024-10-23 UTC."],[],[],null,["# Prompt debugging with LIT\n\n\u003cbr /\u003e\n\nAny responsible approach to applying artificial intelligence (AI) should include\n[safety policies](/responsible/docs/design#define-policies),\n[transparency artifacts](/responsible/docs/design#transparency-artifacts), and\n[safeguards](/responsible/docs/safeguards), but being responsible with AI means more than\nfollowing checklists.\n\nGenAI products are relatively new and the behaviors of an application can vary\nmore than earlier forms of software. For this reason, you should probe the\nmodels being used to examine examples of the model's behavior, and investigate\nsurprises.\n\nPrompting is the ubiquitous interface for interacting with GenAI, and\nengineering those prompts is as much art as it is science. However, there are\ntools that can help you empirically improve prompts for LLMs, such as the\n[Learning Interpretability Tool](https://pair-code.github.io/lit/) (LIT). LIT is an open-source\ntool for visually understanding and debugging AI models, that can be used as\na [debugger for prompt engineering work](https://pair-code.github.io/lit/documentation/components.html#sequence-salience). Follow along with the\n[provided tutorial](https://pair-code.github.io/lit/tutorials/sequence-salience/) using the Colab or Codelab.\n\n**Analyze Gemma Models with LIT**\n\n|---|-------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------|\n| | [Start Codelab](https://codelabs.developers.google.com/codelabs/responsible-ai/lit-gemma) | [Start Google Colab](https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lit_gemma.ipynb) |\n\n\u003cbr /\u003e\n\n*Figure 1.* The LIT's user interface: the Datapoint Editor at the top allows\nusers to edit their prompts. At the bottom, the LM Salience module allows them\nto check saliency results.\n\nYou can use LIT on your [local machine](https://pair-code.github.io/lit/documentation/getting_started.html#installation), in\n[Colab](https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lit_gemma.ipynb), or on [Google Cloud](https://codelabs.developers.google.com/codelabs/responsible-ai/lit-on-gcp).\n\nInclude non-technical teams in model probing and exploration\n------------------------------------------------------------\n\nInterpretability is meant to be a team effort, spanning expertise across\npolicy, legal, and more. LIT's visual medium and interactive ability to examine\nsalience and explore examples can help different stakeholders share and\ncommunicate findings. This approach can enables more diversity of perspective in\nmodel exploration, probing, and debugging. Exposing your teammates to these\ntechnical methods can enhance their understanding of how models work. In\naddition, a more diverse set of expertise in early model testing can also help\nuncover undesirable outcomes that can be improved."]]
Rozpocznij ćwiczenia z programowania
Uruchom Google Colab
