Căn chỉnh mô hình

Tạo câu lệnh cho mô hình trí tuệ nhân tạo (AI), chẳng hạn như Gemini hoặc Gemma có thể ghi nhận hoàn hảo ý định của bạn không phải là một việc đơn giản. Thông thường, bạn phải viết một câu lệnh theo cách thủ công rồi thử nghiệm nó trong nhiều trường hợp sử dụng để đảm bảo phù hợp với nhu cầu của bạn. Dựa trên kết quả, bạn có thể cập nhật mục tiêu cho câu lệnh: thay đổi một số từ ở một vị trí, thêm một câu mới ở vị trí khác. Quá trình này không mang tính nguyên tắc cao và có thể không mang lại kết quả tốt nhất kết quả.

Google đã phát triển một phương pháp sử dụng LLM để tự động cập nhật mẫu câu lệnh dựa trên phản hồi mà bạn cung cấp về kết quả của mô hình bằng ngôn ngữ đơn giản. Ý kiến phản hồi của bạn, cùng với câu lệnh và kết quả của mô hình, sẽ được gửi đến một LLM để cập nhật câu lệnh cho phù hợp hơn với hành vi mà bạn dự định.

Phương thức này có hai cách:

Thư viện nguồn mở

Model Alignment là một thư viện Python nguồn mở, được phát hành dưới dạng một gói trên PyPI cho phép điều chỉnh lời nhắc từ phản hồi của con người thông qua một API. Thư viện này dựa trên nghiên cứu của chúng tôi về cập nhật lời nhắc thông qua ý kiến phản hồi của con người và tự động tạo thuật toán phân loại bằng dữ liệu được gắn nhãn.

Chọn mẫu câu lệnh cho Gemma bằng cách sử dụng thư viện Chỉnh sửa mô hình

Bắt đầu Google Colab

Thư viện này hỗ trợ 2 quy trình làm việc để tự động cập nhật mẫu lời nhắc:

  1. Cập nhật lặp lại từ các nguyên tắc. Quy trình này sử dụng một mô hình ngôn ngữ lớn (LLM) để chắt lọc nguyên tắc này dựa trên các bài phê bình gián tiếp về đầu ra của mô hình hoặc từ các chỉnh sửa trực tiếp đầu ra của mô hình. Bạn có thể tạo lặp đi lặp lại một hoặc nhiều nguyên tắc trước khi gửi tới LLM, nhằm cập nhật mẫu lời nhắc để tuân thủ các nguyên tắc đó. Bạn có thể các nguyên tắc tuyển chọn thủ công và đưa vào cùng với những quy tắc được chưng cất với các mô hình ngôn ngữ lớn (LLM).
  2. Đánh giá trực tiếp kết quả của mô hình. Quy trình này sẽ tiếp nhận ý kiến phản hồi của bạn về toàn bộ đầu ra của mô hình và cấp dữ liệu cho kết quả đó, cùng với câu lệnh và mô hình trực tiếp tới LLM (mô hình ngôn ngữ lớn) để tạo một mẫu câu lệnh cập nhật.

Cả hai quy trình công việc này đều có thể hữu ích cho ứng dụng của bạn. Một điểm đánh đổi đáng chú ý là sự hiện diện của các nguyên tắc. Đây có thể là một cấu phần phần mềm quy trình cụ thể và hữu ích, có thể giúp thông báo, ví dụ: phương pháp của bạn để đạt được tính minh bạch.

Sơ đồ quy trình căn chỉnh mô hình

Hình 1. Sơ đồ quy trình này minh hoạ vị trí và cách thức hai quy trình làm việc của thư viện Chỉnh sửa mô hình khác nhau để cho phép cập nhật trực tiếp hoặc dựa trên nguyên tắc cho các mẫu câu lệnh. Xin lưu ý rằng đây là một quy trình lặp lại và các quy trình công việc này không loại trừ lẫn nhau, bạn có thể chuyển đổi giữa các quy trình công việc bất cứ lúc nào.

Hãy xem sổ tay Colab sử dụng Gemini để điều chỉnh các lời nhắc cho Gemma 2 bằng cả hai quy trình làm việc.

Căn chỉnh trong Vertex AI Studio

Vertex AI Studio của Google đã thêm tính năng "câu lệnh tinh chỉnh" dựa trên quy trình làm việc trực tiếp từ thư viện nguồn mở Model Alignment để bổ sung cho các công cụ tạo, chạy, đánh giá và so sánh.

Sau khi chạy một câu lệnh, bạn có thể đưa ra ý kiến phản hồi về cách mô hình phải hoạt động theo cách khác và Vertex AI Studio sử dụng Gemini để soạn viết lại. Bạn có thể chấp nhận các thay đổi được đề xuất và chạy lại lời nhắc đã cập nhật chỉ cần nhấp vào một nút, hoặc cập nhật ý kiến phản hồi của bạn và yêu cầu Gemini soạn một bản thảo khác ứng cử viên.

Căn chỉnh mô hình trong Vertex AI Studio

Hình 2. "Tinh chỉnh câu lệnh" của Vertex AI Studio đang được dùng để cập nhật lời nhắc dựa trên phản hồi của người dùng.

Tự khám phá cách điều chỉnh mô hình:

  • Chạy sổ tay Colab này. Sổ tay này sử dụng Gemini để căn chỉnh nhiều câu lệnh cho mô hình Gemma 2 có trọng số mở bằng cả hai phương pháp căn chỉnh.
  • Dùng thử tính năng căn chỉnh mô hình "cụm từ gợi ý tinh chỉnh" trong Vertex AI Studio.