Căn chỉnh mô hình

Điều chỉnh là quá trình quản lý hành vi của AI tạo sinh (GenAI) để đảm bảo kết quả đầu ra của AI tuân thủ nhu cầu và kỳ vọng của sản phẩm. Những nỗ lực này là một lĩnh vực nghiên cứu mở và năng động, bạn cần phải quyết định ý nghĩa của việc điều chỉnh mô hình cho phù hợp với sản phẩm và cách bạn dự định thực thi điều đó. Trong tài liệu này, bạn có thể tìm hiểu về hai kỹ thuật (mẫu lời nhắc và điều chỉnh mô hình) cũng như các công cụ hỗ trợ tái cấu trúc và gỡ lỗi lời nhắc mà bạn có thể sử dụng để đạt được mục tiêu điều chỉnh. Để biết thêm về các mục tiêu và phương pháp điều chỉnh mô hình, hãy xem bài viết Trí tuệ nhân tạo, giá trị và điều chỉnh.

Mẫu câu lệnh

Mẫu câu lệnh (còn gọi là câu lệnh hệ thống) cung cấp ngữ cảnh xung quanh dữ liệu đầu vào của người dùng và dữ liệu đầu ra của mô hình, tuỳ thuộc vào trường hợp sử dụng của bạn, dưới dạng hướng dẫn hệ thống và ví dụ về một số lần chụp giúp hướng dẫn mô hình hướng tới kết quả an toàn và chất lượng cao hơn. Ví dụ: nếu mục tiêu của bạn là chất lượng cao các thông tin tóm tắt về các ấn phẩm khoa học kỹ thuật, bạn có thể thấy hữu ích khi sử dụng mẫu câu lệnh như:

The following examples show an expert scientist summarizing the
key points of an article. Article: {{article}}
Summary:

Trong đó {{article}} là phần giữ chỗ cho bài viết tóm tắt.

Các mẫu lời nhắc theo bối cảnh có thể cải thiện đáng kể chất lượng và mức độ an toàn đầu ra của mô hình. Tuy nhiên, việc viết mẫu câu lệnh có thể gặp khó khăn và đòi hỏi sự sáng tạo, kinh nghiệm cũng như một lượng lớn lượt lặp lại. Thư viện Căn chỉnh mô hình cung cấp hai phương thức để cải thiện lặp lại thiết kế mẫu câu lệnh nhờ sự trợ giúp của LLM, chẳng hạn như Gemini. Ngoài ra, chúng tôi còn cung cấp nhiều hướng dẫn về lời nhắc, bao gồm cả các phương pháp hay nhất cho API Gemini và Vertex AI.

Các mẫu lời nhắc thường cung cấp khả năng kiểm soát ít mạnh mẽ hơn đối với kết quả của mô hình so với điều chỉnh, cũng như dễ gặp phải kết quả không mong muốn từ dữ liệu đầu vào đối nghịch. Để hiểu chính xác mức độ hiệu quả của một mẫu lời nhắc đối với các mục tiêu an toàn cụ thể, điều quan trọng là bạn phải sử dụng một tập dữ liệu đánh giá không được dùng trong quá trình phát triển mẫu. Công cụ gỡ lỗi lời nhắc cũng có thể hữu ích để hiểu hoạt động tương tác cụ thể giữa nội dung hệ thống, người dùng và mô hình trong câu lệnh mà mô hình của bạn nhìn thấy. Cụ thể, các API này có thể kết nối các phần của dữ liệu đầu ra đã tạo vào nội dung phù hợp và có ảnh hưởng nhất trong lời nhắc.

Dò mô hình

Quá trình điều chỉnh mô hình bắt đầu từ một điểm kiểm tra, một phiên bản cụ thể của mô hình và sử dụng một tập dữ liệu để tinh chỉnh hành vi của mô hình. Mô hình Gemma và các LLM khác có sẵn ở cả biến thể Được huấn luyện trước (PT) và Được điều chỉnh theo hướng dẫn (IT). Các biến thể PT coi lời nhắc là tiền tố để tiếp tục, trong khi bộ phận CNTT đã điều chỉnh Các biến thể đã được điều chỉnh thêm để coi lời nhắc là một tập hợp hướng dẫn mô tả cách hoàn thành một nhiệm vụ. Trong hầu hết các trường hợp, bạn nên bắt đầu với một biến thể CNTT để kế thừa các lợi ích cơ bản về việc tuân theo hướng dẫn và an toàn, nhưng có thể cần phải điều chỉnh thêm để đạt được các mục tiêu cụ thể của ứng dụng.

Việc điều chỉnh mô hình để đảm bảo an toàn là một việc khó khăn và phức tạp. Nếu một mô hình được điều chỉnh quá mức, thì nó có thể mất những tính năng quan trọng khác. Để biết ví dụ, hãy xem phần vấn đề can thiệp nghiêm trọng. Hơn nữa, việc đảm bảo an toàn cho một mô hình là theo ngữ cảnh. Đâu là yếu tố an toàn cho một ứng dụng không an toàn cho người khác. Nếu bạn nhận thấy mô hình của mình không hoạt động tốt để điều chỉnh thêm tính năng an toàn, hãy cân nhắc việc áp dụng các biện pháp bảo vệ để thực thi các chính sách về hành vi.

Hai trong số những phương pháp phổ biến nhất để điều chỉnh các mô hình ngôn ngữ lớn là tinh chỉnh có giám sát (SFT) và học tăng cường (rl).

• Tinh chỉnh có giám sát (SFT) sử dụng một tập dữ liệu các ví dụ mã hoá hành vi mong muốn của ứng dụng bằng cách gắn nhãn dữ liệu. Để sử dụng SFT nhằm điều chỉnh mô hình cho an toàn, bạn cần có một tập dữ liệu chứa các ví dụ về hành vi an toàn và không an toàn để mô hình có thể học cách phân biệt sự khác biệt.
• Học tăng cường từ lựa chọn ưu tiên của con người (RLHF) sử dụng mô hình phần thưởng để tính điểm cho các thế hệ LLM dựa trên việc tuân thủ chính sách hành vi. Cũng như SFT, mô hình phần thưởng RLHF cần được huấn luyện về cả hành vi an toàn và không an toàn để tạo ra điểm số phù hợp. Mặc dù tốn kém hơn, nhưng RLHF có thể mang lại hiệu suất tốt hơn vì mô hình phần thưởng linh hoạt hơn trong việc mã hoá sắc thái vào điểm số.

Đối với cả hai kỹ thuật, kết quả cuối cùng phần lớn phụ thuộc vào chất lượng của dữ liệu dò của bạn. Sau khi có dữ liệu phù hợp, bạn có thể điều chỉnh mô hình Gemma bằng KerasNLP.

Hướng dẫn điều chỉnh hướng dẫn Gemma

Bắt đầu Google Colab

Các yêu cầu và đặc điểm về dữ liệu

Các nghiên cứu đã chỉ ra rằng chất lượng dữ liệu thường quan trọng hơn số lượng, vì vậy, bạn nên đầu tư thời gian xem xét các ví dụ huấn luyện để đảm bảo chất lượng dữ liệu (Touvron, 2023; Zhou, 2023).

Hai phương pháp phổ biến để chọn dữ liệu huấn luyện và đánh giá nhằm điều chỉnh là: tạo dữ liệu do người dùng nhập theo cách thủ công hoặc với sự trợ giúp của các mô hình ngôn ngữ lớn (LLM). Việc tạo dữ liệu bằng con người thường có chất lượng cao hơn và ít cần xem xét giám sát hơn so với dữ liệu do LLM tạo, nhưng khó mở rộng quy mô hơn và thường tốn kém hơn.

Dữ liệu tinh chỉnh có giám sát

Dữ liệu để tinh chỉnh sự an toàn chủ yếu phụ thuộc vào các ví dụ về truy vấn của người dùng có thể gợi ra một phản hồi mẫu vi phạm chính sách nội dung của bạn. Trong giai đoạn SFT, mô hình thường được tinh chỉnh trên các cặp truy vấn đối kháng với các câu trả lời an toàn. Có hai loại truy vấn đối kháng. Những cụm từ tìm kiếm đúng mục đích có thể vô tình dẫn đến việc áp dụng không mong muốn của những người dùng đối nghịch với ý định khiến cho hành động theo cách không mong muốn. Để biết thêm thông tin chi tiết, hãy xem hướng dẫn Đánh giá mô hình và hệ thống để đảm bảo an toàn.

Ví dụ về điểm dữ liệu tinh chỉnh độ an toàn

Dữ liệu rl

Học tăng cường là một quá trình gồm hai giai đoạn. Giai đoạn đầu tiên là huấn luyện mô hình phần thưởng và thứ hai là sử dụng mô hình phần thưởng để đào tạo mô hình của ứng dụng. Để huấn luyện mô hình phần thưởng, bạn cần có truy vấn của người dùng và thường bao gồm hai câu trả lời có thể có cùng một nhãn cho biết nên ưu tiên câu trả lời nào trong số hai câu trả lời đó. Một điểm dữ liệu điển hình sẽ có dạng như sau:

Ví dụ về điểm dữ liệu an toàn cho RLHF

Đối với bước thứ hai của RLHF, bạn chỉ cần một tập hợp các truy vấn của người dùng. Trong cho trường hợp an toàn cụ thể, bạn muốn cân bằng cẩn thận tập dữ liệu của mình với truy vấn đối nghịch và không đối nghịch. Bạn có thể xem thêm thông tin về dữ liệu đối nghịch trong phần Đánh giá mô hình và hệ thống về mức độ an toàn.

Các phương pháp hay nhất để điều chỉnh mô hình

Như đã đề cập trước đó, chất lượng của tập hợp tham số điều chỉnh sẽ quyết định chất lượng của mô hình cuối cùng. Bạn nên cân nhắc các yếu tố sau đây khi tạo tập dữ liệu dò:

• Phạm vi dữ liệu: Tập dữ liệu của bạn phải bao gồm tất cả chính sách nội dung của bạn cho từng trường hợp sử dụng sản phẩm (ví dụ: trả lời câu hỏi, tóm tắt và suy luận).
• Tính đa dạng của dữ liệu: Tính đa dạng của tập dữ liệu là chìa khoá để đảm bảo rằng mô hình của bạn được điều chỉnh đúng cách và liên quan đến nhiều đặc điểm. Có thể cần bao gồm các truy vấn có độ dài, công thức khác nhau (khẳng định, câu hỏi, v.v.), giọng điệu, chủ đề, mức độ phức tạp cũng như thuật ngữ liên quan đến danh tính và các cân nhắc về nhân khẩu học.
• Loại bỏ trùng lặp: Giống như dữ liệu trước khi huấn luyện, việc xoá dữ liệu trùng lặp sẽ giảm nguy cơ dữ liệu điều chỉnh bị ghi nhớ và cũng giảm kích thước của tập hợp điều chỉnh.
• Lây nhiễm với các tập hợp đánh giá: Bạn nên xoá dữ liệu dùng để đánh giá khỏi dữ liệu điều chỉnh.
• Cách thức xử lý dữ liệu có trách nhiệm không chỉ dừng lại ở việc lọc: Dữ liệu bị gắn nhãn sai là nguồn lỗi phổ biến của mô hình. Cung cấp hướng dẫn rõ ràng cho mọi người trong phí gắn nhãn dữ liệu của bạn, nhóm của bạn hoặc người đánh giá bên ngoài nếu bạn đang sử dụng các nền tảng xếp hạng cao và nhắm đến sự đa dạng trong nhóm người đánh giá nhằm tránh thiên kiến không công bằng.

Tài nguyên dành cho nhà phát triển

• Tập dữ liệu điều chỉnh chất lượng cao, bao gồm cả dữ liệu liên quan đến an toàn:
  • Tập dữ liệu của Anthropoic cho RLHF
  • Tập dữ liệu Safety-Tuned LLaMAs
• Sách hướng dẫn People + AI của Google cung cấp thông tin chi tiết về cách tiếp cận có trách nhiệm đối với việc thu thập và chuẩn bị dữ liệu.
• Trang web của LIT