Tài liệu này không còn được dùng nữa. Vui lòng truy cập vào tài liệu mới tại gemma.ai.

Google sử dụng công nghệ AI để dịch nội dung sang ngôn ngữ bạn ưu tiên. Bản dịch bằng AI có thể có lỗi.

Thẻ mô hình DiffusionGemma

Hugging Face | GitHub | Blog ra mắt | Tài liệu
Giấy phép: Apache 2.0 | Tác giả: Google DeepMind

DiffusionGemma là một mô hình tạo sinh do Google DeepMind phát triển. Dựa trên kiến trúc Gemma 4 26B A4B Mixture-of-Experts (MoE), DiffusionGemma tạo ra các mã thông báo bằng cách sử dụng khuếch tán rời rạc. Mô hình trọng số mở này là mô hình đa phương thức, xử lý dữ liệu đầu vào dạng văn bản, hình ảnh và video để tạo ra văn bản do AI tạo.

Được xây dựng trên nền tảng MoE, DiffusionGemma được thiết kế để cải thiện tốc độ tạo (mã thông báo mỗi giây) trong khi vẫn có thể triển khai trên nhiều môi trường phần cứng. DiffusionGemma được xây dựng dựa trên những cải tiến về kiến trúc và khả năng của Gemma 4, đồng thời giới thiệu một số tính năng cốt lõi:

Khuếch tán văn bản rời rạc – Chuyển từ tự hồi quy theo từng mã thông báo sang lấy mẫu nhiều canvas tự hồi quy theo khối. Mô hình này tạo văn bản do AI tạo bằng cách lặp lại khử nhiễu các khối mã thông báo (một "canvas") song song, đáng kể tăng tốc độ giải mã.
Xử lý dữ liệu đầu vào đa phương thức – Xử lý dữ liệu đầu vào dạng văn bản, hình ảnh (hỗ trợ nhiều tỷ lệ khung hình và độ phân giải) và video xen kẽ để tạo ra kết quả dạng văn bản do AI tạo.
Kiến trúc bộ mã hoá-bộ giải mã – Sử dụng bộ mã hoá tự hồi quy để xử lý và lưu vào bộ nhớ đệm bối cảnh câu lệnh, kết hợp với bộ giải mã áp dụng cơ chế chú ý hai chiều trên canvas tạo sinh.
Hiệu suất của mô hình kết hợp các chuyên gia (MoE) – Tận dụng thiết kế MoE thưa (8 chuyên gia hoạt động trong tổng số 128 chuyên gia) để cung cấp khả năng suy luận mạnh mẽ, đồng thời duy trì mức sử dụng bộ nhớ thấp phù hợp cho việc thực thi cục bộ.
Chế độ tư duy (Suy luận) – Được thiết kế để trở thành một công cụ suy luận có năng lực cao, với các chế độ tư duy có thể định cấu hình.
Tối ưu hoá cho suy luận kích thước lô nhỏ – Được thiết kế riêng để tạo nội dung tốc độ cao, độ trễ thấp trên một bộ tăng tốc có khả năng.
Hỗ trợ câu lệnh hệ thống gốc – Giống như Gemma 4, mô hình này hỗ trợ cập nhật vai trò system, cho phép các cuộc trò chuyện có cấu trúc và dễ kiểm soát hơn.

Tổng quan về mô hình

DiffusionGemma được thiết kế để giảm thiểu các điểm tắc nghẽn tuần tự của các mô hình ngôn ngữ nhân quả tiêu chuẩn. Mô hình này sử dụng kiến trúc bộ mã hoá-bộ giải mã được tối ưu hoá riêng cho tốc độ suy luận.

Bộ mã hoá hoạt động ở chế độ điền sẵn, xử lý câu lệnh ban đầu và tạo bộ nhớ đệm KV. Sau đó, bộ giải mã sử dụng cơ chế chú ý hai chiều để xử lý một khối đầu vào (một "canvas") gồm các mã thông báo, truy cập vào ngữ cảnh được lưu vào bộ nhớ đệm thông qua cơ chế chú ý chéo.

Trong quá trình suy luận, DiffusionGemma tận dụng tính năng lấy mẫu nhiều canvas. Thay vì tạo từng mã thông báo một, mô hình này sẽ khử nhiễu lặp lại cho toàn bộ khối mã thông báo bằng cách sử dụng bộ lấy mẫu khuếch tán. Sau khi một canvas được khử nhiễu hoàn toàn, bộ mã hoá sẽ xử lý và thêm canvas đó vào bộ nhớ đệm KV, sau đó mô hình sẽ tạo canvas tiếp theo. Phương pháp tự hồi quy theo khối này giúp tạo văn bản với tốc độ cao hơn.

DiffusionGemma

Thuộc tính	DiffusionGemma 26B A4B
Tổng số tham số	25,2 tỷ
Tham số đang hoạt động	3,8 tỷ
Lớp	30
Cửa sổ trượt	1024 token
Độ dài ngữ cảnh	Tối đa 256.000 token
Chiều dài canvas	256
Kích thước từ vựng	262 nghìn
Số lượng chuyên gia	8 đang hoạt động/tổng cộng 128 và 1 được chia sẻ
Các phương thức được hỗ trợ	Văn bản, hình ảnh
Tham số của bộ mã hoá thị giác	~550 triệu

Kết quả đo điểm chuẩn

Các mô hình này được đánh giá dựa trên một tập hợp lớn gồm nhiều tập dữ liệu và chỉ số để bao quát nhiều khía cạnh của việc tạo văn bản. Kết quả đánh giá được đánh dấu trong bảng là dành cho các mô hình được điều chỉnh theo hướng dẫn, với bộ lấy mẫu Entropy Bound (EB) được đề xuất (xem phần Các phương pháp hay nhất bên dưới).

Benchmark (Điểm chuẩn)	DiffusionGemma 26B A4B	Gemma 4 26B A4B
MMLU Pro	77,6%	82,6%
AIME 2026 no tools	69,1%	88,3%
LiveCodeBench phiên bản 6	69,1%	77,1%
ELO trên Codeforces	1429	1718
GPQA Diamond	73,2%	82,3%
Tau2 (trung bình trên 3)	56,2%	68,2%
HLE no tools	11,0%	8,7%
HLE với tính năng tìm kiếm	11,9%	17,2%
BigBench Extra Hard	47,6%	64,8%
MMMLU	81,5%	86,3%
Thị lực
MMMU Pro	54,3%	73,8%
OmniDocBench 1.5 (khoảng cách chỉnh sửa trung bình, càng thấp càng tốt)	0,319	0,149
MATH-Vision	70,5%	82,4%
MedXPertQA MM	49%	58,1%
Ngữ cảnh dài
MRCR phiên bản 2, 8 kim, 128 nghìn (trung bình)	32%	44,1%

Các chức năng cốt lõi

DiffusionGemma xử lý nhiều loại nhiệm vụ liên quan đến văn bản và hình ảnh. Các chức năng chính bao gồm:

Tạo tốc độ cao – khử nhiễu song song 256 mã thông báo thông qua lấy mẫu khuếch tán đạt được độ trễ thấp bằng cách tạo 15-20 mã thông báo cho mỗi lượt chuyển tiếp, giúp tăng tốc độ tạo cho mỗi người dùng vượt quá 1100 mã thông báo mỗi giây trong chế độ cài đặt kích thước lô thấp (H100, FP8).
Tính toán thời gian suy luận thích ứng – Các câu lệnh đơn giản hơn và các nhiệm vụ có cấu trúc như mã yêu cầu ít bước khử nhiễu hơn, cho phép tốc độ mã thông báo mỗi giây linh hoạt dựa trên độ phức tạp của nhiệm vụ.
Tư duy – Chế độ suy luận tích hợp giúp mô hình suy nghĩ từng bước trước khi trả lời.
Ngữ cảnh dài – Cửa sổ ngữ cảnh lên đến 256.000 token.
Hiểu hình ảnh – Phát hiện đối tượng, phân tích cú pháp tài liệu/PDF, hiểu màn hình và giao diện người dùng, hiểu biểu đồ, OCR (bao gồm cả đa ngôn ngữ), nhận dạng chữ viết tay và trỏ. Hình ảnh có thể được xử lý ở nhiều tỷ lệ khung hình và độ phân giải.
Hiểu video – Phân tích và mô tả nội dung video bằng cách xử lý các chuỗi khung hình.
Dữ liệu đầu vào đa phương thức xen kẽ – Kết hợp hình ảnh, video và văn bản trong một câu lệnh duy nhất để suy luận dựa trên bối cảnh phức tạp.
Gọi hàm – Hỗ trợ gốc cho việc sử dụng công cụ có cấu trúc, cho phép quy trình làm việc của tác nhân.
Lập trình và suy luận – Có khả năng tạo mã, hoàn thành mã và suy luận logic từng bước.
Đa ngôn ngữ – Hỗ trợ ngay hơn 35 ngôn ngữ, được huấn luyện trước trên hơn 140 ngôn ngữ.

Các phương pháp hay nhất

Để đạt được hiệu suất tốt nhất, hãy sử dụng các cấu hình và phương pháp hay nhất sau đây:

1. Cài đặt lấy mẫu khuếch tán

Sử dụng cấu hình lấy mẫu chuẩn hoá sau đây cho tất cả các trường hợp sử dụng:

Phương pháp: Lấy mẫu khuếch tán bằng tính năng Khử nhiễu có giới hạn entropy và Dừng thích ứng.
Cấu hình lấy mẫu:
- Số bước khử nhiễu tối đa = 48
- Lịch điều chỉnh nhiệt độ (để định hình logit): Phân rã tuyến tính từ 0,8 → 0,4
- Lựa chọn mã thông báo: Ở mỗi bước, trình lấy mẫu sẽ chọn mã thông báo có entropy thấp nhất sao cho giới hạn thông tin chung của chúng luôn thấp hơn giới hạn entropy = 0,1
- Khử nhiễu mã thông báo: Bộ lấy mẫu khử nhiễu hoàn toàn các mã thông báo không được chọn
Dừng thích ứng: Quá trình lấy mẫu sẽ kết thúc sớm nếu và chỉ khi cả hai điều kiện sau đây được đáp ứng đồng thời:
- Dự đoán đáng tin cậy: Entropy trung bình của mô hình trên canvas thấp hơn ngưỡng entropy = 0,005
- Dự đoán ổn định: Các dự đoán về mã thông báo có xác suất cao nhất vẫn giữ nguyên giống nhau qua hai bước khử nhiễu liên tiếp

2. Cấu hình Chế độ suy nghĩ

Tương tự như các mô hình Gemma 4, chúng tôi sử dụng các vai trò system, assistant và user tiêu chuẩn. Để quản lý quy trình suy nghĩ đúng cách, hãy sử dụng các mã thông báo điều khiển sau:

Kích hoạt tính năng tư duy: Bạn có thể bật tính năng tư duy bằng cách thêm mã thông báo <|think|> vào đầu câu lệnh hệ thống. Để tắt tính năng suy nghĩ, hãy xoá mã thông báo (lưu ý rằng kênh suy nghĩ trống vẫn có thể được phát ra).
Tạo câu trả lời chuẩn: Khi bạn bật tính năng suy nghĩ, mô hình sẽ đưa ra suy luận nội bộ, sau đó là câu trả lời cuối cùng theo cấu trúc sau: <|channel>thought\n[Suy luận nội bộ]<channel|>.
Hành vi tư duy bị tắt: Nếu tính năng tư duy bị tắt, mô hình vẫn sẽ tạo các thẻ nhưng có khối suy nghĩ trống: <|channel>thought\n<channel|>[Câu trả lời cuối cùng].

Xin lưu ý rằng nhiều thư viện như transformers sẽ xử lý các vấn đề phức tạp của mẫu trò chuyện cho bạn.

3. Cuộc trò chuyện nhiều lượt

Không có nội dung tư duy trong nhật ký: Trong các cuộc trò chuyện nhiều lượt, đầu ra của mô hình trong nhật ký chỉ được bao gồm câu trả lời cuối cùng. Không được thêm suy nghĩ từ các lượt trước của mô hình trước khi lượt tiếp theo của người dùng bắt đầu.

4. Thứ tự phương thức

Để đạt được hiệu suất tối ưu với dữ liệu đầu vào đa phương thức, hãy đặt nội dung hình ảnh trước văn bản trong câu lệnh.

5. Độ phân giải hình ảnh có thể thay đổi

Ngoài tỷ lệ khung hình biến đổi, DiffusionGemma còn hỗ trợ độ phân giải hình ảnh biến đổi thông qua ngân sách mã thông báo hình ảnh có thể định cấu hình, giúp kiểm soát số lượng mã thông báo được dùng để biểu thị một hình ảnh. Ngân sách mã thông báo cao hơn sẽ giữ lại nhiều chi tiết hình ảnh hơn nhưng tốn thêm tài nguyên điện toán, trong khi ngân sách thấp hơn cho phép suy luận nhanh hơn cho các nhiệm vụ không yêu cầu hiểu biết chi tiết.

Các ngân sách mã thông báo được hỗ trợ là: 70, 140, 280, 560 và 1120.
- Sử dụng ngân sách thấp hơn cho việc phân loại, tạo phụ đề hoặc hiểu video, trong đó việc suy luận nhanh hơn và xử lý nhiều khung hình quan trọng hơn chi tiết chi tiết.
- Sử dụng ngân sách cao hơn cho các tác vụ như OCR, phân tích cú pháp tài liệu hoặc đọc văn bản nhỏ.

6. Thời lượng video

Tất cả các mô hình đều hỗ trợ dữ liệu đầu vào là hình ảnh và có thể xử lý video dưới dạng khung hình. Video hỗ trợ tối đa 60 giây, giả sử hình ảnh được xử lý ở tốc độ một khung hình/giây.

Dữ liệu mô hình

Dữ liệu dùng để huấn luyện mô hình và cách xử lý dữ liệu.

Tập dữ liệu huấn luyện

Tập dữ liệu huấn luyện trước của chúng tôi là một tập hợp dữ liệu đa dạng, quy mô lớn, bao gồm nhiều miền và phương thức, trong đó có tài liệu web, mã, hình ảnh, âm thanh, với ngày ngừng thu thập dữ liệu là tháng 1 năm 2025. Sau đây là các thành phần chính:

Tài liệu trên web: Một tập hợp đa dạng các văn bản trên web giúp đảm bảo mô hình được tiếp xúc với nhiều phong cách ngôn ngữ, chủ đề và từ vựng. Tập dữ liệu huấn luyện bao gồm nội dung bằng hơn 140 ngôn ngữ.
Mã: Việc cho mô hình tiếp xúc với mã giúp mô hình tìm hiểu cú pháp và mẫu của các ngôn ngữ lập trình, từ đó cải thiện khả năng tạo mã và hiểu các câu hỏi liên quan đến mã.
Toán học: Việc huấn luyện dựa trên văn bản toán học giúp mô hình học cách suy luận logic, biểu diễn tượng trưng và giải quyết các câu hỏi toán học.
Hình ảnh: Nhiều loại hình ảnh giúp mô hình thực hiện các nhiệm vụ phân tích hình ảnh và trích xuất dữ liệu hình ảnh.

Việc kết hợp các nguồn dữ liệu đa dạng này là rất quan trọng để huấn luyện một mô hình đa phương thức mạnh mẽ, có thể xử lý nhiều loại nhiệm vụ và định dạng dữ liệu khác nhau.

Tiền xử lý dữ liệu

Sau đây là các phương pháp làm sạch và lọc dữ liệu chính được áp dụng cho dữ liệu huấn luyện:

Lọc CSAM: Chúng tôi đã áp dụng quy trình lọc CSAM (Nội dung xâm hại tình dục trẻ em) nghiêm ngặt ở nhiều giai đoạn trong quá trình chuẩn bị dữ liệu để đảm bảo loại trừ nội dung gây hại và bất hợp pháp.
Lọc dữ liệu nhạy cảm: Để đảm bảo các mô hình được huấn luyện tiền kỳ của Gemma an toàn và đáng tin cậy, chúng tôi đã sử dụng các kỹ thuật tự động để lọc ra một số thông tin cá nhân và dữ liệu nhạy cảm khác khỏi tập dữ liệu huấn luyện.
Các phương pháp khác: Lọc dựa trên chất lượng và mức độ an toàn của nội dung theo chính sách của chúng tôi.

Đạo đức và an toàn

Khi các mô hình mở trở thành yếu tố then chốt trong cơ sở hạ tầng của doanh nghiệp, thì nguồn gốc và tính bảo mật là những yếu tố tối quan trọng. Do Google DeepMind phát triển, DiffusionGemma trải qua các quy trình đánh giá an toàn nghiêm ngặt tương tự như các mô hình Gemini độc quyền của chúng tôi.

Phương pháp đánh giá

DiffusionGemma được phát triển thông qua sự hợp tác với các nhóm nội bộ về an toàn và AI có trách nhiệm. Chúng tôi đã tiến hành một loạt quy trình đánh giá tự động cũng như đánh giá thủ công để giúp cải thiện độ an toàn của mô hình. Những hoạt động đánh giá này tuân thủ các nguyên tắc về AI của Google, cũng như các chính sách an toàn nhằm ngăn chặn các mô hình AI tạo sinh của chúng tôi tạo ra nội dung gây hại, bao gồm:

Nội dung liên quan đến nội dung xâm hại tình dục trẻ em và hành vi bóc lột trẻ em
Nội dung nguy hiểm (ví dụ: cổ xuý hành vi tự tử hoặc hướng dẫn thực hiện các hoạt động có thể gây hại trong thực tế)
Nội dung khiêu dâm
Lời nói hận thù (ví dụ: hạ thấp nhân phẩm của thành viên thuộc các nhóm người được bảo vệ)
Hành vi quấy rối (ví dụ: khuyến khích bạo lực đối với người khác)

Kết quả đánh giá

Đối với tất cả các khía cạnh của quy trình kiểm tra độ an toàn, chúng tôi nhận thấy những điểm cải thiện đáng kể trong mọi danh mục về độ an toàn của nội dung so với các thế hệ mô hình Gemma trước đây. Nhìn chung, DiffusionGemma, giống như các mô hình Gemma 4, vượt trội hơn đáng kể so với các mô hình Gemma 3 và 3n trong việc cải thiện độ an toàn, đồng thời giữ tỷ lệ từ chối không chính đáng ở mức thấp. Tất cả hoạt động kiểm thử đều được tiến hành có chủ đích mà không có bộ lọc an toàn để đánh giá khả năng thô và hành vi cơ bản của mô hình. Đối với cả mô hình chuyển văn bản thành văn bản và chuyển hình ảnh thành văn bản, và trên mọi kích thước mô hình, mô hình này có rất ít lỗi vi phạm chính sách và cho thấy những điểm cải tiến đáng kể so với các mô hình Gemma trước đó.

Mức sử dụng và giới hạn

Những mô hình này có một số hạn chế mà người dùng cần lưu ý.

Mục đích sử dụng

Mô hình đa phương thức (có khả năng xử lý hình ảnh, ngôn ngữ và/hoặc âm thanh) có nhiều ứng dụng trong nhiều ngành và lĩnh vực. Danh sách các trường hợp sử dụng tiềm năng sau đây chưa đầy đủ. Mục đích của danh sách này là cung cấp thông tin theo bối cảnh về các trường hợp sử dụng có thể xảy ra mà nhà sáng tạo mô hình đã xem xét trong quá trình huấn luyện và phát triển mô hình.

Sáng tạo nội dung và giao tiếp
- Tạo văn bản: Tạo các định dạng văn bản sáng tạo như thơ, kịch bản, mã, nội dung tiếp thị và bản nháp email.
- Chatbot và AI đàm thoại: Hỗ trợ giao diện đàm thoại cho dịch vụ khách hàng, trợ lý ảo hoặc ứng dụng tương tác.
- Tóm tắt văn bản: Tạo bản tóm tắt ngắn gọn cho một ngữ liệu văn bản, bài nghiên cứu hoặc báo cáo.
- Trích xuất dữ liệu hình ảnh: Trích xuất, diễn giải và tóm tắt dữ liệu hình ảnh cho nội dung giao tiếp bằng văn bản.
Nghiên cứu và giáo dục
- Nghiên cứu về Xử lý ngôn ngữ tự nhiên (NLP) và VLM: Đóng vai trò là nền tảng để các nhà nghiên cứu thử nghiệm các kỹ thuật VLM và NLP, phát triển thuật toán và đóng góp vào sự tiến bộ của lĩnh vực này.
- Công cụ học ngôn ngữ: Hỗ trợ trải nghiệm học ngôn ngữ tương tác, giúp sửa lỗi ngữ pháp hoặc cung cấp bài tập viết.
- Khám phá kiến thức: Hỗ trợ nhà nghiên cứu khám phá lượng lớn văn bản bằng cách tạo bản tóm tắt hoặc trả lời câu hỏi về các chủ đề cụ thể.

Giới hạn

Dữ liệu huấn luyện
- Chất lượng và sự đa dạng của dữ liệu huấn luyện ảnh hưởng đáng kể đến khả năng của mô hình. Thiên kiến hoặc lỗ hổng trong dữ liệu huấn luyện có thể dẫn đến những hạn chế trong câu trả lời của mô hình.
- Phạm vi của tập dữ liệu huấn luyện xác định các lĩnh vực chuyên môn mà mô hình có thể xử lý một cách hiệu quả.
Bối cảnh và độ phức tạp của nhiệm vụ
- Mô hình này hoạt động hiệu quả đối với những nhiệm vụ có thể được trình bày bằng các câu lệnh và hướng dẫn rõ ràng. Những việc không có kết quả rõ ràng hoặc có độ phức tạp cao có thể gây khó khăn cho Gemini.
- Hiệu suất của mô hình có thể chịu ảnh hưởng của lượng bối cảnh được cung cấp (bối cảnh dài hơn thường mang lại kết quả tốt hơn, cho đến một mức nhất định).
Sự mơ hồ và sắc thái ngôn ngữ
- Ngôn ngữ tự nhiên vốn dĩ rất phức tạp. Mô hình có thể gặp khó khăn trong việc nắm bắt các sắc thái tinh tế, lời mỉa mai hoặc ngôn ngữ tượng hình.
Độ chính xác về mặt thực tế
- Mô hình này tạo câu trả lời dựa trên thông tin học được từ tập dữ liệu huấn luyện, nhưng đây không phải là cơ sở kiến thức. Công cụ này có thể đưa ra những tuyên bố không chính xác hoặc lỗi thời.
Common Sense
- Mô hình này dựa vào các mẫu thống kê trong ngôn ngữ. Mô hình này có thể thiếu khả năng áp dụng lý luận thông thường trong một số trường hợp nhất định.

Những điểm cần lưu ý và rủi ro về đạo đức

Khi tạo một mô hình ngôn ngữ-thị giác mở, chúng tôi đã cân nhắc kỹ lưỡng những điều sau:

Sự thiên vị và tính công bằng
- Các VLM được huấn luyện dựa trên dữ liệu văn bản và hình ảnh thực tế, quy mô lớn có thể phản ánh những thành kiến về văn hoá xã hội có trong tài liệu huấn luyện. DiffusionGemma đã trải qua quá trình xem xét kỹ lưỡng, xử lý trước dữ liệu đầu vào và đánh giá sau khi huấn luyện như được báo cáo trong thẻ này để giúp giảm thiểu rủi ro về những thành kiến này.
Thông tin sai lệch và hành vi sử dụng sai mục đích
- VLM có thể bị sử dụng sai mục đích để tạo văn bản do AI tạo sai lệch, gây hiểu lầm hoặc gây hại.
- Các nguyên tắc được cung cấp để sử dụng mô hình một cách có trách nhiệm, hãy xem Bộ công cụ AI tạo sinh có trách nhiệm.
Tính minh bạch và trách nhiệm giải trình
- Thẻ mô hình này tóm tắt thông tin chi tiết về cấu trúc, khả năng, hạn chế và quy trình đánh giá của mô hình.
- Một mô hình mở được phát triển có trách nhiệm sẽ mang đến cơ hội chia sẻ sự đổi mới bằng cách giúp các nhà phát triển và nhà nghiên cứu trong toàn bộ hệ sinh thái AI có thể tiếp cận công nghệ VLM.

Rủi ro được xác định và biện pháp giảm thiểu:

Tạo nội dung gây hại: Các cơ chế và nguyên tắc về an toàn nội dung là rất cần thiết. Nhà phát triển nên thận trọng và triển khai các biện pháp bảo vệ an toàn nội dung phù hợp dựa trên chính sách sản phẩm cụ thể và trường hợp sử dụng ứng dụng của họ.
Sử dụng sai mục đích cho mục đích xấu: Các giới hạn kỹ thuật và việc đào tạo nhà phát triển cũng như người dùng cuối có thể giúp giảm thiểu các ứng dụng độc hại của VLM. Cung cấp tài nguyên hướng dẫn và cơ chế báo cáo để người dùng gắn cờ hành vi sử dụng sai mục đích.
Hành vi vi phạm quyền riêng tư: Các mô hình được huấn luyện dựa trên dữ liệu đã được lọc để xoá một số thông tin cá nhân và dữ liệu nhạy cảm khác. Nhà phát triển nên tuân thủ các quy định về quyền riêng tư bằng các kỹ thuật đảm bảo quyền riêng tư.
Duy trì thành kiến: Bạn nên liên tục theo dõi (bằng cách sử dụng các chỉ số đánh giá, quy trình đánh giá thủ công) và khám phá các kỹ thuật loại bỏ thành kiến trong quá trình huấn luyện, tinh chỉnh mô hình và các trường hợp sử dụng khác.

Lợi ích

Tại thời điểm phát hành, đây là một mô hình ngôn ngữ thị giác mở có độ trễ thấp, hiệu suất cao, mang đến một lựa chọn hấp dẫn cho các nhà phát triển và những người quan tâm đến việc nghiên cứu các mô hình ngôn ngữ khuếch tán. Mô hình này được thiết kế từ đầu để phát triển AI có trách nhiệm so với các mô hình có kích thước tương tự.