Các chiến lược thiết kế gợi ý, chẳng hạn như nhắc một vài cảnh quay, không phải lúc nào cũng mang lại kết quả như bạn cần. Sử dụng tính năng điều chỉnh mô hình để cải thiện hiệu suất của mô hình ở các nhiệm vụ cụ thể hoặc giúp mô hình tuân thủ các yêu cầu đầu ra cụ thể khi hướng dẫn không đầy đủ và bạn có một bộ ví dụ minh hoạ kết quả đầu ra mình muốn.
Trang này cung cấp hướng dẫn về cách điều chỉnh mô hình văn bản sau dịch vụ văn bản API Gemini.
Cách hoạt động của tính năng điều chỉnh mô hình
Mục tiêu của việc điều chỉnh mô hình là cải thiện thêm hiệu suất của mô hình cho tác vụ cụ thể của bạn. Tính năng điều chỉnh mô hình hoạt động bằng cách cung cấp cho mô hình một tập dữ liệu huấn luyện chứa nhiều ví dụ về tác vụ. Đối với các nhiệm vụ đặc thù, bạn có thể cải thiện đáng kể hiệu suất của mô hình bằng cách điều chỉnh mô hình trên một số ít ví dụ.
Dữ liệu huấn luyện của bạn nên có cấu trúc như các ví dụ với thông tin đầu vào về lời nhắc và dữ liệu đầu ra của phản hồi dự kiến. Bạn cũng có thể điều chỉnh các mô hình bằng cách sử dụng dữ liệu mẫu ngay trong Google AI Studio. Mục tiêu là dạy mô hình bắt chước hành vi hoặc tác vụ mong muốn, bằng cách cung cấp nhiều ví dụ minh hoạ hành vi hoặc tác vụ đó.
Khi bạn chạy một công việc điều chỉnh, mô hình này sẽ tìm hiểu các tham số bổ sung giúp mã hoá thông tin cần thiết để thực hiện tác vụ mong muốn hoặc tìm hiểu hành vi mong muốn. Sau đó, các tham số này có thể được dùng tại thời điểm dự đoán. Đầu ra của công việc điều chỉnh là một mô hình mới, là sự kết hợp hiệu quả giữa các tham số mới học và mô hình ban đầu.
Mô hình được hỗ trợ
Các mô hình nền tảng sau đây hỗ trợ điều chỉnh mô hình. Chỉ hỗ trợ hoàn thành văn bản một lượt.
Gemini 1.0 Protext-bison-001
Quy trình điều chỉnh mô hình
Quy trình điều chỉnh mô hình như sau:
- Chuẩn bị tập dữ liệu.
- Nhập tập dữ liệu nếu bạn đang dùng Google AI Studio.
- Bắt đầu công việc điều chỉnh.
Sau khi việc điều chỉnh mô hình hoàn tất, tên của mô hình được điều chỉnh sẽ hiển thị. Bạn cũng có thể chọn mô hình này trong Google AI Studio làm mô hình để sử dụng khi tạo lời nhắc mới.
Chuẩn bị tập dữ liệu
Trước khi có thể bắt đầu điều chỉnh, bạn cần có một tập dữ liệu để điều chỉnh mô hình. Để có hiệu suất tốt nhất, các ví dụ trong tập dữ liệu phải có chất lượng cao, đa dạng và đại diện cho dữ liệu đầu vào và đầu ra thực tế.
Định dạng
Các ví dụ trong tập dữ liệu phải khớp với lưu lượng truy cập thực tế dự kiến của bạn. Nếu tập dữ liệu của bạn chứa định dạng, từ khoá, hướng dẫn hoặc thông tin cụ thể, thì dữ liệu thực tế phải được định dạng theo cùng một cách và có cùng hướng dẫn.
Ví dụ: nếu các ví dụ trong tập dữ liệu của bạn bao gồm "question:" và "context:", thì lưu lượng truy cập thực tế cũng phải được định dạng để bao gồm "question:" và "context:" theo đúng thứ tự xuất hiện trong các ví dụ về tập dữ liệu. Nếu bạn loại trừ ngữ cảnh, thì mô hình sẽ không thể nhận ra mẫu, ngay cả khi câu hỏi chính xác nằm trong một ví dụ trong tập dữ liệu.
Việc thêm lời nhắc hoặc lời mở đầu vào từng ví dụ trong tập dữ liệu cũng có thể giúp cải thiện hiệu suất của mô hình được điều chỉnh. Lưu ý: nếu lời nhắc hoặc lời mở đầu được đưa vào tập dữ liệu của bạn, thì lời nhắc đó cũng phải được đưa vào lời nhắc đối với mô hình được điều chỉnh tại thời điểm dự đoán.
Kích thước dữ liệu huấn luyện
Bạn có thể điều chỉnh một mô hình có tối đa 20 ví dụ và dữ liệu bổ sung thường giúp cải thiện chất lượng của phản hồi. Bạn nên nhắm đến từ 100 đến 500 ví dụ, tuỳ thuộc vào ứng dụng của bạn. Bảng sau đây trình bày các kích thước tập dữ liệu được đề xuất để điều chỉnh mô hình văn bản cho các tác vụ phổ biến:
| Việc cần làm | Số ví dụ trong tập dữ liệu |
|---|---|
| Phân loại | Hơn 100 |
| Tóm tắt | 100-500+ |
| Tìm kiếm tài liệu | Hơn 100 |
Tải tập dữ liệu điều chỉnh lên
Dữ liệu được truyền nội tuyến bằng API hoặc thông qua các tệp đã tải lên trong Google AI Studio.
Sử dụng nút Import (Nhập) để nhập dữ liệu từ một tệp hoặc chọn một câu lệnh có cấu trúc kèm theo các ví dụ để nhập dưới dạng tập dữ liệu điều chỉnh.
Thư viện ứng dụng
Để sử dụng thư viện ứng dụng, hãy cung cấp tệp dữ liệu trong lệnh gọi createTunedModel.
Kích thước tệp tối đa là 4 MB. Hãy xem phần điều chỉnh nhanh bắt đầu với Python để bắt đầu.
Uốn cong
Để gọi API REST bằng Curl, hãy cung cấp các ví dụ huấn luyện ở định dạng JSON cho đối số training_data. Hãy xem phần điều chỉnh nhanh bắt đầu với Curl để bắt đầu.
Cài đặt điều chỉnh nâng cao
Khi tạo công việc điều chỉnh, bạn có thể chỉ định các chế độ cài đặt nâng cao sau:
- Epochs (Thời gian bắt đầu của hệ thống) – Một lượt huấn luyện đầy đủ sẽ được áp dụng cho toàn bộ tập huấn luyện sao cho mỗi ví dụ được xử lý một lần.
- Kích thước lô – Tập hợp ví dụ được dùng trong một vòng lặp huấn luyện. Kích thước lô xác định số lượng ví dụ trong một lô.
- Tốc độ học – Số dấu phẩy động cho thuật toán biết mức độ điều chỉnh các tham số mô hình trên mỗi vòng lặp. Ví dụ: tốc độ học tập 0,3 sẽ điều chỉnh trọng số và độ chệch hiệu quả hơn gấp 3 lần so với tốc độ học tập 0,1. Tốc độ tìm hiểu cao và thấp cũng có những ưu điểm riêng và bạn nên điều chỉnh dựa trên trường hợp sử dụng của mình.
- Hệ số tốc độ học tập – Hệ số tốc độ sửa đổi tốc độ học ban đầu của mô hình. Giá trị 1 sử dụng tốc độ học ban đầu của mô hình. Các giá trị lớn hơn 1 làm tăng tốc độ học, còn các giá trị từ 1 đến 0 sẽ giảm tốc độ học.
Cấu hình được đề xuất
Bảng sau đây trình bày các cấu hình được đề xuất để điều chỉnh mô hình nền tảng:
| Siêu tham số | Giá trị mặc định | Các mức điều chỉnh được đề xuất |
|---|---|---|
| Kỷ nguyên | 5 |
Nếu tổn thất bắt đầu tăng cao trước 5 khoảng thời gian bắt đầu của hệ thống, hãy sử dụng một giá trị nhỏ hơn. Nếu tổn thất đang hội tụ và dường như không tăng lên, hãy sử dụng giá trị cao hơn. |
| Kích thước lô | 4 | |
| Tốc độ tìm hiểu | 0,001 | Sử dụng giá trị nhỏ hơn cho các tập dữ liệu nhỏ hơn. |
Đường cong tổn thất cho thấy mức độ chênh lệch giữa thông tin dự đoán của mô hình so với các dự đoán lý tưởng trong các ví dụ huấn luyện sau mỗi khoảng thời gian bắt đầu của hệ thống. Lý tưởng nhất là bạn muốn ngừng huấn luyện tại điểm thấp nhất trong đường cong ngay trước khi đường cong cao nguyên. Ví dụ: biểu đồ bên dưới cho thấy đường cao nguyên suy hao vào khoảng thời gian bắt đầu của hệ thống là 4–6, tức là bạn có thể đặt tham số Epoch thành 4 mà vẫn nhận được hiệu suất tương tự.
Kiểm tra trạng thái công việc điều chỉnh
Bạn có thể kiểm tra trạng thái của công việc điều chỉnh trong giao diện người dùng Google AI Studio ở thẻ Thư viện của tôi hoặc sử dụng thuộc tính metadata của mô hình điều chỉnh trong APIGemini.
Khắc phục lỗi
Phần này bao gồm các mẹo về cách giải quyết lỗi mà bạn có thể gặp phải khi tạo mô hình đã được điều chỉnh.
Xác thực
Việc điều chỉnh bằng API và thư viện ứng dụng yêu cầu xác thực người dùng. Nếu chỉ có khoá API là không đủ. Nếu gặp lỗi 'PermissionDenied: 403 Request had
insufficient authentication scopes', bạn cần thiết lập quy trình xác thực người dùng.
Để định cấu hình thông tin đăng nhập OAuth cho Python, hãy tham khảo hướng dẫn thiết lập OAuth.
Mẫu đã huỷ
Bạn có thể huỷ công việc điều chỉnh mô hình bất kỳ lúc nào trước khi công việc này hoàn tất. Tuy nhiên, hiệu suất dự đoán của một mô hình bị huỷ là không thể dự đoán được, đặc biệt là nếu công việc điều chỉnh bị huỷ sớm trong quá trình huấn luyện. Nếu huỷ vì muốn ngừng huấn luyện ở một khoảng thời gian bắt đầu của hệ thống trước đó, bạn nên tạo một công việc điều chỉnh mới và đặt thời gian bắt đầu của hệ thống thành một giá trị thấp hơn.