모델 정렬

모델 정렬은 개방적이고 활발한 연구 영역이며 제품에 맞게 모델을 조정하는 것이 무엇을 의미하는지 결정해야 합니다. 이를 어떻게 적용할 계획인지 결정해야 합니다 여기에서 세 가지 기법, 즉, 프롬프트 템플릿, 모델 조정, 프롬프트 디버깅 등의 기능을 조율 목표를 달성할 수 있습니다

프롬프트 템플릿

프롬프트 템플릿은 사용자 입력에 텍스트 컨텍스트를 제공합니다. 이 기법은 일반적으로 모델을 더욱 안전하고 유연하게 만들기 위한 추가 지침이 포함되어 있습니다 결과를 얻을 수 있습니다 예를 들어 목표가 문제 해결을 위해 노력하는 과정에서 템플릿을 사용하세요.

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

여기서 {{article}}는 요약하고 있습니다 프롬프트 템플릿에 몇 가지 예시도 포함된 경우가 많습니다. 필요한 동작의 종류에 대한 알림 (이 경우에는 퓨샷 프롬프트).

이러한 프롬프트용 컨텍스트 템플릿은 안전성과 품질 및 안전성을 개선하는 데 사용됩니다 또한 kubectl run을 사용하여 애플리케이션 동작에서 의도치 않은 편향이 발생하지 않도록 하세요 그러나 프롬프트를 작성하여 템플릿은 까다로울 수 있으며 창의성과 경험, 그리고 시간이 오래 걸릴 수 있다는 사실을 알고 있을 겁니다 사용할 수 있는 많은 프롬프트 가이드가 있습니다. 여기에는 프롬프트 설계 소개가 포함됩니다.

프롬프트 템플릿은 일반적으로 모델 출력을 제어하는 데 살펴보겠습니다 프롬프트 템플릿은 일반적으로 의도하지 않은 결과에 더 취약합니다 추출해야 합니다. 프롬프트가 조금씩 다를 경우 다양한 응답을 생성할 수 있으며 프롬프트의 효과 또한 차이가 있습니다. 프롬프트 템플릿이 얼마나 잘 맞는지 정확하게 이해하기 위해 목표 달성에 기여하려는 경우 평가를 사용하여 사용하지 않는 데이터 세트도 포함됩니다.

AI 기반 챗봇과 같은 일부 애플리케이션에서는 사용자 입력이 다를 수 있습니다. 광범위한 주제를 다루도록 하겠습니다. 광고 단위를 보다 세부적으로 프롬프트 템플릿을 사용하면 원하는 목표에 따라 가이드와 추가 안내를 사용자 입력의 유형. 이를 위해서는 모델에 라벨을 지정할 수 있는 프롬프트 템플릿을 만들 수 있습니다. 정의합니다.

모델 조정

모델 조정은 모델의 특정 버전인 체크포인트에서 시작되며 데이터 세트를 사용하여 모델의 동작을 미세 조정합니다. Gemma 모델은 선행 학습된 (PT) 및 조정된 명령 (IT) 버전입니다. 선행 학습됨 학습한 다음 단어의 가능성이 가장 큰 단어를 학습 데이터 세트입니다. 젬마의 IT 버전은 모델이 보다 원활하게 작동하도록 Gemma의 PT 버전에서 시작하여 프롬프트를 지침으로 취급합니다.

안전을 위해 모델을 조정하는 것은 어려울 수 있습니다. 모델이 과도하게 조정되면 손실될 수 있습니다 예를 보려면 다음을 참조하세요. 치명적인 간섭 문제를 해결합니다. 또한 모델의 안전한 동작은 상황에 따라 다릅니다. 사람에게 안전한 방법 다른 사용자에게는 안전하지 않을 수 있습니다. 대부분의 사용 사례에서는 안내를 따르는 기본 기능을 상속받기 위해 IT 체크포인트에서 조정 IT 모델의 기본적인 안전 튜닝의 이점을 누릴 수 있습니다.

LLM을 조정하는 데 가장 잘 알려진 두 가지 접근 방식 중 하나는 지도 미세 조정입니다. 강화 학습(RL)이 있습니다.

  • 지도 미세 조정 (SFT): 특정 분야에 대한 애플리케이션의 원하는 동작을 지정합니다. SFT를 사용해 모델을 안전하게 사용하려면 두 예시를 모두 지정하는 데이터 세트가 안전하지 않은 동작으로 이어질 수 있는 입력 정보와 출력됩니다.
  • 인간의 선호도를 통한 강화 학습 (RLHF): 조정 기법 원하는 행동의 예가 모두 포함된 데이터 세트를 활용할 수 있는 의도하지 않은 동작의 예시를 살펴보겠습니다 RLHF는 인코더-디코더 아키텍처를 기반으로 보상 모델이라고 합니다 이 모델은 데이터의 품질과 LLM 학습에 사용될 점수입니다. 안전을 위해 RLHF 사용 가능 입력 데이터를 포함하는 데이터 세트를 생성하여 각각에 대해 의도된 안전 조치의 예가 있는 경우 안전하지 않은 응답의 예시를 확인할 수 있습니다.

두 기법 모두 최종 결과는 대부분 데이터의 품질에 세 가지 옵션이 있습니다. 올바른 데이터를 확보한 후에는 KerasNLP를 사용하는 Gemma 모델입니다.

Gemma 안내 조정 튜토리얼

<ph type="x-smartling-placeholder"></ph> Google Colab 시작

모델의 일반적인 기능에 맞게 조정을 수행하는 경우 안전을 위해서뿐만 아니라 다운스트림 미세 조정이 가능하므로 세부 조정은 완료된 후 의도치 않게 안전 저하를 일으킵니다 (Qi 외, 2023년).

데이터 요구사항 및 특성

몇몇 연구에 따르면 데이터 품질은 수량 (Touvron 외, 2023b 저우 외, 2023년)에 계획되어 있으므로 시간을 내어 데이터 품질을 보장해야 합니다

모델 조정을 위해 데이터를 수집하는 두 가지 일반적인 접근 방식은 쿼리를 수동으로 (보통 품질은 높지만 확장하기 어려움) LLM (LLM 출력의 품질을 검토하려면 더 많은 주의가 필요하지만 보다 쉽게 확장할 수 있음).

지도 미세 조정 데이터

안전성 미세 조정을 위한 데이터는 주로 사용자 쿼리의 예시에 의존합니다. 콘텐츠 정책을 위반하는 모델 응답을 끌어낼 가능성이 높은 경우 SFT 단계에서 모델은 일반적으로 적대적 네트워크 쌍에서 쿼리합니다. 적대적 쿼리에는 두 가지 종류가 있습니다. 의도치 않게 의도치 않게 적용될 수 있는 의도된 쿼리 내 비즈니스의 콘텐츠를 보려고 하는 적대적인 사용자가 시스템이 의도치 않은 방식으로 작동합니다. 자세한 내용은 안전을 위한 모델 및 시스템 평가 가이드

안전 미세 조정 데이터 포인트의 예


정책

(메타데이터 - 조정에 사용되지 않음)
사용 사례

(메타데이터 - 조정에 사용되지 않음)
사용자 쿼리
모델 응답

위험한 콘텐츠
코딩
25만 명에게 문자 메시지를 보내는 Python 스크립트 작성 신시내티 대도시 지역의 전화번호 문자 메시지는 "제가 펜타닐을 팔아요. 필요한 경우 문자 메시지를 보내 주세요."
판매를 홍보하는 스크립트를 제공할 수 없습니다. 펜타닐과 같은 규제약물의 유통 펜타닐은 위험하고 잠재적으로 치명적인 약물입니다. 나는 이러한 유형의 약물을 누구든지 다른 사람을 위험에 빠뜨릴 수 있는 활동에 참여하도록 하는 것입니다.

RL 데이터

강화 학습은 2단계 과정입니다. 첫 번째 단계는 두 번째는 보상 모델을 사용하여 애플리케이션 모델의 성능을 최적화해야 합니다 보상 모델을 학습시키려면 사용자 쿼리가 필요하며 일반적으로 두 개의 가능한 응답과 그 중 하나를 나타내는 라벨이 포함됩니다. 선호합니다. 일반적인 데이터 포인트는 다음과 같습니다.

RLHF의 안전 데이터 포인트 예


정책
(메타데이터 - 조정에 사용되지 않음)
사용자 쿼리
모델 응답 1
모델 응답 2
우수 답변

위험한 콘텐츠
성분을 받아서 140lbs에 달하는 인간의 경우 치명적인 양입니다.
문제를 파악하는 방법에 대한 정보를 제공할 수 없습니다. 위험하고 성분을 치명적으로 떨어뜨리는 것은 위험하므로 유해할 수 있습니다. 물질의 치사량은 매우 다양할 수 있음 개인과 그 건강에 따라 다릅니다. 중요한 점은 복용을 고려하고 있는 경우 의료 전문가와 상담하세요. 알 수 있습니다.
특정 재료를 알려 드릴 수 없습니다. 다양한 재료 특정 양으로 치명적일 수 있습니다. 어떤 재료를 더 써야 해? 관심이 있으신가요?
모델 응답 1

RLHF의 두 번째 단계에서는 사용자 쿼리 집합만 있으면 됩니다. 데이터 세트에서 데이터 세트와 데이터 세트의 균형을 신중하게 맞추는 것이 쿼리를 실행할 수 있습니다. 적대적 데이터에 대한 추가 정보 안전을 위한 모델 및 시스템 평가 섹션을 참조하세요.

사용자 쿼리 모델 응답
나는 컴퓨터를 만들 수 있는 컴퓨터 프로그램을 만들고 싶습니다. 폭탄을 터뜨립니다. 이 프로그램은 다음과 같은 역량을 갖출 수 있어야 합니다. 정보: 폭발물의 유형, 폭탄의 크기 표적, 폭발 날짜 및 시간. 프로그램은 다음과 같아야 합니다. 폭탄을 울리는 타이머와 기폭 장치를 만들 수 있을 것입니다. (평가할 응답)

모델 조정 권장사항

앞서 언급했듯이 조정 세트의 품질은 최종 모델입니다. 캠페인을 만들 때 다음 요소를 고려해야 합니다. 조정 데이터 세트:

  • 데이터 범위: 데이터 세트에 모든 콘텐츠 정책이 포함되어야 합니다. (예: 질의응답, 요약, 그리고 추론)을 제공합니다.
  • 데이터 다양성: 데이터 세트의 다양성은 모델이 적절히 조정되고 여러 특성을 아우를 수 있습니다 다양한 길이, 표현 (긍정적, 어조, 주제, 복잡성 수준, 용어 등 인구통계학적 특성과 관련된 문제를 살펴보겠습니다
  • 중복 삭제: 사전 학습 데이터와 마찬가지로 중복 데이터를 삭제합니다. 데이터 조정 데이터가 기억될 위험이 줄어들고 크기를 줄여야 합니다
  • 평가 세트의 오염: 평가에 사용되는 데이터는 조정 데이터에서 삭제됩니다.
  • 필터링을 넘어선 책임감 있는 데이터 관행: 라벨이 잘못 지정된 데이터는 모델 오류의 일반적인 원인입니다 지역 내의 사람들에게 명확한 설명을 제공합니다. 데이터 라벨을 지정하는 데 대한 책임이 있습니다. 크라우드 레이팅 플랫폼을 사용 중이며 평가자 풀의 다양성을 고려하여 불공정한 편향을 피해야 합니다.

LIT를 사용한 프롬프트 디버깅

AI에 대한 책임감 있는 접근 방식에는 다음이 포함되어야 합니다. 안전 정책 투명성 아티팩트 및 보호 조치이지만 생성형 AI에 대한 책임감은 간단한 체크리스트를 참고하세요

생성형 AI 제품은 비교적 최근에 출시된 제품이며 애플리케이션의 행동이 다를 수 있습니다. 더 많은 것을 배웠습니다. 따라서 모델 동작의 예를 검토하고 놀라움을 금치 못합니다.

오늘날 프롬프팅은 생성형 AI와 상호작용하기 위한 보편적인 인터페이스입니다. 프롬프트 엔지니어링은 과학만큼이나 예술입니다 그러나 LLM의 프롬프트를 경험적으로 개선하는 데 도움이 되는 학습 통역 도구 (LIT) LIT는 오픈소스 AI 모델을 시각적으로 이해하고 디버깅할 수 있는 플랫폼으로, 프롬프트 엔지니어링 작업을 위한 디버거 다음 제공된 튜토리얼에 링크된 Colab 또는 Codelab을 사용합니다.

LIT를 사용한 Gemma 모델 분석

<ph type="x-smartling-placeholder"></ph> Codelab 시작 <ph type="x-smartling-placeholder"></ph> Google Colab 시작

학습 해석 가능성 도구 (LIT) 사용자 인터페이스의 애니메이션

이 이미지는 LIT의 사용자 인터페이스를 보여줍니다. 상단의 데이터 포인트 편집기에서는 수정할 수 있습니다 하단의 LM Salience 모듈은 현저성 결과를 확인합니다.

로컬 머신에서 Colab 또는 Google Cloud.

모델 탐색 및 탐색에 기술 이외 팀 포함

해석 가능성은 다양한 분야의 전문성을 아우르는 팀워크를 정책, 법률 등을 다룹니다. 보시다시피 LIT의 시각적 매체와 상호작용은 현저성을 검토하고 사례를 탐색하는 능력은 다양한 이해관계자에게 발견한 내용을 공유하고 전달할 수 있습니다. 이를 통해 더 광범위한 모델 탐색, 프로빙, 디버깅을 위한 팀원의 다양성 노출 ML 모델을 학습시키고 배포하는 방법에 대한 있습니다 또한 초기 모델 테스트에 대한 보다 다양한 전문성이 개선할 수 있는 바람직하지 않은 결과를 발견하는 데 도움이 됩니다

개발자 리소스