Быстрая отладка с помощью LIT

Любой ответственный подход к применению искусственного интеллекта (ИИ) должен включать политику безопасности , артефакты прозрачности и меры безопасности , но ответственность в отношении ИИ означает нечто большее, чем просто следование контрольным спискам.

Продукты GenAI являются относительно новыми, и поведение приложений может отличаться от более ранних форм программного обеспечения. По этой причине вам следует изучить используемые модели, изучить примеры поведения модели и выявить сюрпризы.

Подсказки — это повсеместный интерфейс взаимодействия с GenAI, и разработка таких подсказок — это не только наука, но и искусство. Однако существуют инструменты, которые могут помочь вам эмпирически улучшить подсказки для LLM, например, Learning Interpretability Tool (LIT). LIT — это инструмент с открытым исходным кодом для визуального понимания и отладки моделей ИИ, который можно использовать в качестве отладчика для оперативной инженерной работы . Следуйте предоставленному руководству, используя Colab или Codelab.

Анализируйте модели Gemma с помощью LIT

Запустить кодлаб Запустите Google Колаб

Анимация пользовательского интерфейса Learning Interpretability Tool (LIT)

Рисунок 1. Пользовательский интерфейс LIT: редактор Datapoint вверху позволяет пользователям редактировать свои подсказки. Внизу модуль LM Salience позволяет им проверять результаты значимости.

Вы можете использовать LIT на своем локальном компьютере , в Colab или в Google Cloud .

Включайте нетехнические группы в исследование и исследование модели.

Интерпретация должна быть коллективной работой, охватывающей опыт в области политики, права и т. д. Визуальная среда LIT и интерактивная способность исследовать значимость и изучать примеры могут помочь различным заинтересованным сторонам делиться и сообщать результаты. Этот подход может обеспечить большее разнообразие точек зрения при исследовании, проверке и отладке модели. Знакомство ваших товарищей по команде с этими техническими методами может улучшить их понимание того, как работают модели. Кроме того, более разнообразный опыт раннего тестирования моделей также может помочь выявить нежелательные результаты, которые можно улучшить.