모델 정렬

Gemini 또는 Gemini와 같은 인공지능 (AI) 모델에 대한 프롬프트를 생성하는 작업 Gemma를 사용하여 개발자의 의도를 완벽하게 포착하는 것은 결코 간단하지 않은 작업일 수 있습니다. 프롬프트를 직접 작성한 후 다양한 사용 사례에서 테스트하여 필요에 맞는지 확인해야 하는 경우가 많습니다. 결과에 따라 프롬프트를 타겟팅하여 업데이트할 수 있습니다. 한 곳에서는 일부 단어를 변경하고 다른 곳에서는 새 문장을 추가하는 식입니다. 이 프로세스는 그다지 원칙이 적용되어 있지 않으며 최상의 있습니다.

Google은 LLM을 사용하여 다음과 같은 방법을 개발했습니다. 현재 실행 중인 언어를 기반으로 프롬프트 템플릿을 모델의 출력에 대해 알기 쉬운 언어로 제공하는 피드백을 제공합니다. 보내 주신 의견, 프롬프트 및 모델의 출력과 함께 이 모델은 LLM으로 전송되어 프롬프트에 맞게 조정하는 것이 좋습니다.

이 메서드는 다음 두 가지 방법으로 사용할 수 있습니다.

오픈소스 라이브러리

모델 정렬은 오픈소스 Python 라이브러리로, 인간의 프롬프트를 정렬하는 PyPI 기반 패키지 API를 통해 의견을 수집하는 것입니다 이 라이브러리는 사람의 피드백을 통한 프롬프트 업데이트 라벨이 지정된 데이터에서 자동 분류 기준 생성

모델 정렬 라이브러리를 사용하여 Gemma용 프롬프트 템플릿 선별

Google Colab 시작

이 라이브러리는 프롬프트 템플릿을 자동으로 업데이트하는 두 가지 워크플로를 지원합니다.

  1. 원칙을 기반으로 반복적인 업데이트 이 워크플로에서는 LLM을 사용하여 가이드라인을 직접 수정할 수도 있습니다. 다음과 같은 작업을 할 수 있습니다. 가이드라인을 하나 이상 반복적으로 생성한 다음 LLM에 보내기 전에 해당 가이드라인을 준수하도록 프롬프트 템플릿을 업데이트합니다. 다음과 같은 작업을 할 수 있습니다. 직접 선별하고 LLM에서 정제된 가이드라인과 함께 포함할 수도 있습니다.
  2. 모델 출력에 대한 직접적인 비판 이 워크플로에는 프롬프트 및 모델과 함께 전체 모델 출력에 대한 정보를 제공하고 LLM에 직접 출력하여 업데이트된 프롬프트 템플릿을 생성합니다.

이 두 워크플로 모두 애플리케이션에 유용할 수 있습니다. 주목할 만한 절충점은 가이드라인의 존재입니다. 가이드라인은 투명성에 대한 접근 방식을 알리는 데 도움이 되는 유용하고 구체적인 프로세스 아티팩트가 될 수 있습니다.

모델 정렬 흐름 차트

그림 1. 이 플로우 차트는 두 모델 정렬의 위치와 방법을 보여줍니다. 가이드 기반 또는 직접 업데이트를 가능케 하기 위해 라이브러리 워크플로가 다양하며 프롬프트 템플릿을 사용할 수 있습니다. 프로세스는 반복적이며 이러한 워크플로는 언제든지 전환할 수 있습니다.

Gemini를 사용하여 다음 작업을 수행하는 Colab 노트북을 확인하세요. 두 워크플로를 모두 사용하여 Gemma 2의 프롬프트를 정렬합니다.

Vertex AI Studio의 정렬

Google의 Vertex AI Studio에는 직접 워크플로를 기반으로 '프롬프트 미세 조정' 기능 모델 정렬 오픈소스 라이브러리에서 실행, 평가, 비교 도구가 있습니다.

프롬프트를 실행한 후 모델이 다르게 작동해야 하는 방식에 관한 의견을 제공할 수 있으며 Vertex AI Studio는 Gemini를 사용하여 재작성 초안을 작성합니다. 제안된 변경사항을 수락하고 버튼을 클릭하여 업데이트된 프롬프트를 다시 실행하거나 의견을 업데이트하고 Gemini가 다른 후보를 초안으로 작성하도록 할 수 있습니다.

Vertex AI Studio의 모델 정렬

그림 2. '프롬프트 세부 조정' Vertex AI Studio의 기능을 사용하여 사용자 의견에 따라 프롬프트를 업데이트할 수 있습니다

모델 정렬을 직접 살펴보세요.

  • Gemini를 사용하여 두 가지 정렬 접근 방식을 모두 사용하여 개방형 가중치 Gemma 2 모델의 다양한 프롬프트를 정렬하는 이 Colab 노트북을 실행합니다.
  • Vertex AI Studio에서 '프롬프트 미세 조정' 모델 정렬 기능을 사용해 보세요.