Chạy tính năng tạo và suy luận nội dung Gemma

Có hai quyết định chính cần đưa ra khi bạn muốn chạy mô hình Gemma: 1) biến thể Gemma bạn muốn chạy và 2) khung thực thi AI bạn sẽ sử dụng để chạy mô hình đó. Một vấn đề chính trong việc đưa ra cả hai quyết định này liên quan đến phần cứng mà bạn và người dùng có để chạy mô hình.

Thông tin tổng quan này giúp bạn đưa ra các quyết định này và bắt đầu làm việc với các mô hình Gemma. Sau đây là các bước chung để chạy mô hình Gemma:

Chọn một khung

Các mô hình Gemma tương thích với nhiều khung triển khai AI tạo sinh. Một trong những yếu tố quan trọng trong việc đưa ra quyết định khi chạy mô hình Gemma là tài nguyên điện toán mà bạn có (hoặc sẽ có) để chạy mô hình. Hầu hết các khung AI tương thích đều yêu cầu phần cứng chuyên dụng, chẳng hạn như GPU hoặc TPU, để chạy mô hình Gemma một cách hiệu quả. Các công cụ như Google Colab có thể cung cấp các tài nguyên điện toán chuyên biệt này trên cơ sở hạn chế. Một số khung thực thi AI, chẳng hạn như Ollama và Gemma.cpp, cho phép bạn chạy Gemma trên các CPU phổ biến hơn bằng cách sử dụng kiến trúc ARM hoặc tương thích với x86.

Sau đây là hướng dẫn chạy mô hình Gemma bằng nhiều khung thời gian chạy AI:

Đảm bảo rằng khung bạn chọn hỗ trợ định dạng mô hình Gemma mà bạn dự định triển khai, chẳng hạn như định dạng gốc Keras, Safetensors hoặc GGUF.

Chọn một biến thể Gemma

Mô hình Gemma có nhiều biến thể và kích thước, bao gồm cả mô hình Gemma cơ bản hoặc core (lõi) và các biến thể mô hình chuyên biệt hơn như PaliGemma và DataGemma, cũng như nhiều biến thể do cộng đồng nhà phát triển AI tạo ra trên các trang web như Kaggle và Hugging Face. Nếu bạn không chắc chắn nên bắt đầu với biến thể nào, hãy chọn mô hình điều chỉnh hướng dẫn (IT) core Gemma mới nhất với số lượng tham số thấp nhất. Loại mô hình Gemma này có yêu cầu tính toán thấp và có thể phản hồi nhiều câu lệnh mà không cần phát triển thêm.

Hãy cân nhắc các yếu tố sau khi chọn một biến thể Gemma:

  • Gemma core và các gia đình biến thể khác như PaliGemma, CodeGemma: Nên dùng Gemma (core). Các biến thể Gemma ngoài phiên bản cốt lõi có cùng cấu trúc với mô hình cốt lõi và được huấn luyện để hoạt động hiệu quả hơn trong các nhiệm vụ cụ thể. Trừ phi ứng dụng hoặc mục tiêu của bạn phù hợp với chuyên môn của một biến thể Gemma cụ thể, tốt nhất bạn nên bắt đầu với mô hình lõi hoặc cơ sở Gemma.
  • Được điều chỉnh theo hướng dẫn (IT), được huấn luyện trước (PT), được điều chỉnh chi tiết (FT), kết hợp (mix): Nên dùng IT.
    • Các biến thể Gemma được điều chỉnh theo hướng dẫn (IT) là các mô hình đã được huấn luyện để phản hồi nhiều hướng dẫn hoặc yêu cầu bằng ngôn ngữ của con người. Đây là những biến thể mô hình phù hợp nhất để bắt đầu vì chúng có thể phản hồi các câu lệnh mà không cần đào tạo thêm mô hình.
    • Các biến thể Gemma được huấn luyện trước (PT) là các mô hình đã được huấn luyện để suy luận về ngôn ngữ hoặc dữ liệu khác, nhưng chưa được huấn luyện để làm theo hướng dẫn của con người. Các mô hình này yêu cầu đào tạo hoặc điều chỉnh bổ sung để có thể thực hiện các nhiệm vụ một cách hiệu quả và dành cho các nhà nghiên cứu hoặc nhà phát triển muốn nghiên cứu hoặc phát triển các chức năng của mô hình và cấu trúc của mô hình đó.
    • Các biến thể Gemma được tinh chỉnh (FT) có thể được coi là biến thể IT, nhưng thường được huấn luyện để thực hiện một nhiệm vụ cụ thể hoặc hoạt động hiệu quả trên một điểm chuẩn AI tạo sinh cụ thể. Gia đình biến thể PaliGemma bao gồm một số biến thể FT.
    • Các biến thể Gemma Mixed (kết hợp) là các phiên bản của mô hình PaliGemma đã được điều chỉnh hướng dẫn bằng nhiều hướng dẫn và phù hợp để sử dụng chung.
  • Thông số: Đề xuất số nhỏ nhất hiện có. Nhìn chung, mô hình càng có nhiều tham số thì càng có nhiều khả năng. Tuy nhiên, việc chạy các mô hình lớn hơn đòi hỏi tài nguyên điện toán lớn hơn và phức tạp hơn, đồng thời thường làm chậm quá trình phát triển ứng dụng AI. Trừ phi bạn đã xác định rằng mô hình Gemma nhỏ hơn không thể đáp ứng nhu cầu của bạn, hãy chọn một mô hình có số lượng tham số nhỏ.
  • Cấp độ lượng tử hoá: Nên dùng độ bán chính xác (16 bit), ngoại trừ việc điều chỉnh. Việc lượng tử hoá là một chủ đề phức tạp, liên quan đến kích thước và độ chính xác của dữ liệu, do đó, mô hình AI tạo sinh sử dụng bao nhiêu bộ nhớ để tính toán và tạo phản hồi. Sau khi một mô hình được huấn luyện bằng dữ liệu có độ chính xác cao (thường là dữ liệu dấu phẩy động 32 bit), các mô hình như Gemma có thể được sửa đổi để sử dụng dữ liệu có độ chính xác thấp hơn như kích thước 16, 8 hoặc 4 bit. Các mô hình Gemma lượng tử hoá này vẫn có thể hoạt động tốt, tuỳ thuộc vào độ phức tạp của các tác vụ, trong khi sử dụng ít tài nguyên điện toán và bộ nhớ hơn đáng kể. Tuy nhiên, các công cụ để điều chỉnh mô hình lượng tử hoá còn hạn chế và có thể không có trong khung phát triển AI mà bạn đã chọn. Thông thường, bạn phải tinh chỉnh một mô hình như Gemma ở độ chính xác cao nhất, sau đó lượng tử hoá mô hình thu được.

Để xem danh sách các mô hình Gemma chính do Google phát hành, hãy xem bài viết Bắt đầu sử dụng mô hình Gemma, danh sách mô hình Gemma.

Chạy các yêu cầu tạo và suy luận

Sau khi chọn một khung thực thi AI và một biến thể Gemma, bạn có thể bắt đầu chạy mô hình và nhắc mô hình tạo nội dung hoặc hoàn thành các nhiệm vụ. Để biết thêm thông tin về cách chạy Gemma bằng một khung cụ thể, hãy xem các hướng dẫn được liên kết trong phần Chọn khung.

Định dạng câu lệnh

Tất cả biến thể Gemma được điều chỉnh theo hướng dẫn đều có các yêu cầu cụ thể về định dạng lời nhắc. Một số yêu cầu định dạng này được xử lý tự động bằng khung mà bạn sử dụng để chạy các mô hình Gemma, nhưng khi gửi trực tiếp dữ liệu lời nhắc đến trình tạo mã thông báo, bạn phải thêm các thẻ cụ thể và yêu cầu gắn thẻ có thể thay đổi tuỳ thuộc vào biến thể Gemma mà bạn đang sử dụng. Hãy xem các hướng dẫn sau để biết thông tin về cách định dạng lời nhắc biến thể Gemma và hướng dẫn hệ thống: