DiffusionGemma 모델 카드

Hugging Face | GitHub | 출시 블로그 | 문서
라이선스: Apache 2.0 | 작성자: Google DeepMind

DiffusionGemma는 Google DeepMind에서 빌드한 생성 모델입니다. 26B A4B 전문가 혼합 (MoE) Gemma 4 아키텍처를 기반으로 하는 DiffusionGemma는 이산 확산을 사용하여 토큰을 생성합니다. 이 가중치 공개 모델은 멀티모달로, 텍스트, 이미지, 동영상 입력을 처리하여 텍스트 출력을 생성합니다.

MoE 기반으로 빌드된 DiffusionGemma는 다양한 하드웨어 환경에 배포 가능한 상태를 유지하면서 생성 속도 (초당 토큰 수)를 개선하도록 설계되었습니다. DiffusionGemma는 Gemma 4의 아키텍처 및 기능 개선을 기반으로 하며 몇 가지 핵심 기능을 도입합니다.

  • 불연속 텍스트 확산 – 토큰별 자동 회귀에서 블록 자동 회귀 멀티 캔버스 샘플링으로 전환합니다. 토큰 블록('캔버스')의 노이즈를 병렬로 반복적으로 제거하여 텍스트를 생성하므로 디코딩 속도가 크게 향상됩니다.
  • 멀티모달 입력 처리 – 인터리브 처리된 텍스트, 이미지 (가변 가로세로 비율 및 해상도 지원), 동영상 입력을 처리하여 텍스트 출력을 생성합니다.
  • 인코더-디코더 아키텍처 – 자동 회귀 인코더를 사용하여 프롬프트 컨텍스트를 처리하고 캐시하며, 생성 캔버스에 양방향 어텐션을 적용하는 디코더와 페어링됩니다.
  • 전문가 혼합 (MoE) 효율성 – 희소 MoE 설계 (총 128개 중 8개의 활성 전문가)를 활용하여 강력한 추론 기능을 제공하는 동시에 로컬 실행에 적합한 낮은 메모리 사용량을 유지합니다.
  • 사고 모드 (추론) – 구성 가능한 사고 모드를 갖춘 고성능 추론기로 설계되었습니다.
  • 소규모 배치 크기 추론에 최적화 – 단일 가속기에서 지연 시간이 짧고 빠른 생성을 위해 특별히 설계되었습니다.
  • 네이티브 시스템 프롬프트 지원 – Gemma 4와 마찬가지로 system 역할 업데이트를 지원하여 더 구조화되고 제어 가능한 대화를 가능하게 합니다.

모델 개요

DiffusionGemma는 표준 인과 언어 모델의 순차적 병목 현상을 줄이도록 설계되었습니다. 추론 속도에 특별히 최적화된 인코더-디코더 아키텍처를 사용합니다.

인코더는 사전 입력 용량으로 작동하여 초기 프롬프트를 처리하고 KV 캐시를 생성합니다. 그런 다음 디코더는 양방향 어텐션을 활용하여 토큰의 입력 블록('캔버스')을 처리하고 교차 어텐션을 통해 캐시된 컨텍스트에 액세스합니다.

추론 중에 DiffusionGemma는 멀티 캔버스 샘플링을 활용합니다. 이 모델은 한 번에 하나의 토큰을 생성하는 대신 디퓨전 샘플러를 사용하여 전체 토큰 블록의 노이즈를 반복적으로 제거합니다. 캔버스의 노이즈가 완전히 제거되면 인코더에 의해 처리되고 KV 캐시에 추가되며, 이후 모델이 다음 캔버스를 생성합니다. 이 블록 자동 회귀 접근 방식은 더 빠른 속도로 텍스트를 생성할 수 있게 해줍니다.

DiffusionGemma

속성 DiffusionGemma 26B A4B
총 파라미터 252억
활성 매개변수 38억
레이어 30
슬라이딩 기간 토큰 1,024개
컨텍스트 길이 최대 256,000개의 토큰
캔버스 길이 256
어휘 크기 262,000
전문가 수 활성 8개/총 128개, 공유 1개
지원되는 형식 텍스트, 이미지
비전 인코더 파라미터 약 5억 5천만 명

벤치마크 결과

이러한 모델은 텍스트 생성의 다양한 측면을 다루기 위해 다양한 데이터 세트와 측정항목의 대규모 컬렉션을 기준으로 평가되었습니다. 표에 표시된 평가 결과는 권장되는 엔트로피 경계 (EB) 샘플러가 있는 명령 조정 모델에 대한 것입니다 (아래 권장사항 참고).

벤치마킹 DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77.6% 82.6%
AIME 2026 도구 없음 69.1% 88.3%
LiveCodeBench v6 69.1% 77.1%
Codeforces ELO 1429 1718
GPQA 다이아몬드 73.2% 82.3%
Tau2 (3개 평균) 56.2% 68.2%
HLE 도구 없음 11.0% 8.7%
검색을 통한 HLE 11.9% 17.2%
BigBench Extra Hard 47.6% 64.8%
MMMLU 81.5% 86.3%
시각
MMMU Pro 54.3% 73.8%
OmniDocBench 1.5 (평균 편집 거리, 낮을수록 좋음) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% 58.1%
긴 컨텍스트
MRCR v2 8 니들 128k (평균) 32.0% 44.1%

핵심 기능

DiffusionGemma는 텍스트와 비전 전반에 걸쳐 다양한 작업을 처리합니다. 주요 기능은 다음과 같습니다.

  • 고속 생성 - 디퓨전 샘플링을 통해 256개의 토큰을 병렬로 노이즈 제거하여 순방향 패스당 15~20개의 토큰을 생성함으로써 지연 시간을 줄이고, 낮은 배치 크기 설정 (H100, FP8)에서 사용자당 초당 1,100개 이상의 토큰을 생성할 수 있습니다.
  • 적응형 추론 시간 계산 - 간단한 프롬프트와 코드와 같은 구조화된 작업에는 노이즈 제거 단계가 적게 필요하므로 작업 복잡성에 따라 초당 토큰 속도를 동적으로 조정할 수 있습니다.
  • 사고 – 모델이 대답하기 전에 단계별로 생각할 수 있는 기본 제공 추론 모드입니다.
  • 긴 컨텍스트 – 최대 256,000개의 토큰이 포함될 수 있는 컨텍스트 윈도우
  • 이미지 이해 – 객체 감지, 문서/PDF 파싱, 화면 및 UI 이해, 차트 이해, OCR (다국어 포함), 필기 인식, 포인팅 이미지는 다양한 가로세로 비율과 해상도로 처리될 수 있습니다.
  • 동영상 이해 – 프레임 시퀀스를 처리하여 동영상 콘텐츠를 분석하고 설명합니다.
  • 인터리브 처리된 멀티모달 입력 – 컨텍스트가 많은 추론을 위해 단일 프롬프트 내에서 이미지, 동영상, 텍스트를 혼합합니다.
  • 함수 호출 – 구조화된 도구 사용을 기본적으로 지원하여 에이전트 워크플로를 지원합니다.
  • 코딩 및 추론 – 코드 생성, 완성, 단계별 논리적 추론이 가능합니다.
  • 다국어 – 35개 이상의 언어를 즉시 지원하며 140개 이상의 언어로 선행 학습되었습니다.

권장사항

최상의 성능을 위해 다음 구성과 권장사항을 사용하세요.

1. 확산 샘플링 설정

모든 사용 사례에서 다음과 같은 표준화된 샘플링 구성을 사용합니다.

  • 방법: 엔트로피 제한 노이즈 제거 및 적응형 중지를 사용한 확산 샘플링
  • 샘플링 구성:
    • 최대 노이즈 제거 단계 수 = 48
    • 온도 설정 일정 (로짓 형성): 0.8에서 0.4로 선형 감소
    • 토큰 선택: 각 단계에서 샘플러는 상호 정보 경계가 엔트로피 경계 = 0.1 미만으로 유지되도록 가장 낮은 엔트로피 토큰을 선택합니다.
    • 토큰 리노이징: 샘플러가 선택되지 않은 토큰을 완전히 리노이징합니다.
  • 적응형 중지: 다음 두 조건이 동시에 충족되는 경우에만 샘플링이 조기 종료됩니다.
    • 신뢰도 높은 예측: 캔버스의 평균 모델 엔트로피가 엔트로피 임곗값인 0.005 미만입니다.
    • 안정적인 예측: 확률이 가장 높은 토큰 예측은 두 번의 연속 노이즈 제거 단계에서 동일하게 유지됩니다.

2. 사고 모드 구성

Gemma 4 모델과 마찬가지로 표준 system, assistant, user 역할을 사용합니다. 사고 프로세스를 올바르게 관리하려면 다음 제어 토큰을 사용하세요.

  • 사고 트리거: 시스템 프롬프트 시작 부분에 <|think|> 토큰을 포함하면 사고가 사용 설정됩니다. 사고를 사용 중지하려면 토큰을 삭제합니다. 빈 사고 채널이 계속 전송될 수 있습니다.
  • 표준 생성: 사고가 사용 설정되면 모델은 내부 추론을 출력한 후 <|channel>thought\n[내부 추론]<channel|> 구조를 사용하여 최종 답변을 출력합니다.
  • 사고 동작 사용 중지: 사고가 사용 중지된 경우 모델은 여전히 태그를 생성하지만 빈 사고 블록(<|channel>thought\n<channel|>[최종 답변])을 사용합니다.

변환기와 같은 많은 라이브러리는 채팅 템플릿의 복잡성을 자동으로 처리합니다.

3. 멀티턴 대화

  • 기록에 사고 콘텐츠 없음: 멀티턴 대화에서 이전 모델 출력에는 최종 대답만 포함되어야 합니다. 이전 모델 차례의 생각은 다음 사용자 차례가 시작되기 전에 추가하면 안 됩니다.

4. 형식 순서

  • 멀티모달 입력으로 최적의 성능을 얻으려면 프롬프트의 텍스트 앞에 이미지 콘텐츠를 배치합니다.

5. 가변 이미지 해상도

DiffusionGemma는 가변 가로세로 비율 외에도 구성 가능한 시각적 토큰 예산을 통해 가변 이미지 해상도를 지원합니다. 이 예산은 이미지를 표현하는 데 사용되는 토큰 수를 제어합니다. 토큰 예산이 높을수록 추가 컴퓨팅 비용으로 더 많은 시각적 세부정보를 보존할 수 있으며, 예산이 낮을수록 세부적인 이해가 필요하지 않은 작업에 대해 더 빠른 추론이 가능합니다.

  • 지원되는 토큰 예산은 70, 140, 280, 560, 1120입니다.
    • 세부적인 디테일보다 빠른 추론과 많은 프레임 처리가 더 중요한 분류, 자막, 동영상 이해에는 더 낮은 예산을 사용합니다.
    • OCR, 문서 파싱, 작은 텍스트 읽기와 같은 작업에는 더 높은 예산을 사용합니다.

6. 동영상 길이

모든 모델은 이미지 입력을 지원하며 동영상을 프레임으로 처리할 수 있습니다. 동영상은 이미지가 초당 1프레임으로 처리된다고 가정할 때 최대 60초를 지원합니다.

모델 데이터

모델 학습에 사용된 데이터 및 데이터 처리 방식

학습 데이터 세트

사전 학습 데이터 세트는 웹 문서, 코드, 이미지, 오디오를 포함하여 다양한 도메인과 형식을 포괄하는 대규모의 다양한 데이터 모음으로, 기준일은 2025년 1월입니다. 주요 구성요소는 다음과 같습니다.

  • 웹 문서: 다양한 웹 텍스트 모음을 통해 모델이 광범위한 언어 스타일, 주제, 어휘에 노출됩니다. 학습 데이터 세트에는 140개 이상의 언어로 된 콘텐츠가 포함되어 있습니다.
  • 코드: 모델을 코드에 노출하면 프로그래밍 언어의 문법과 패턴을 학습하는 데 도움이 되며, 이를 통해 코드를 생성하고 코드 관련 질문을 이해하는 능력이 향상됩니다.
  • 수학: 수학 텍스트를 학습하면 모델이 논리적 추론, 기호 표현을 학습하고 수학적 쿼리를 처리하는 데 도움이 됩니다.
  • 이미지: 다양한 이미지를 통해 모델이 이미지 분석 및 시각적 데이터 추출 작업을 수행할 수 있습니다.

이러한 다양한 데이터 소스의 조합은 다양한 작업과 데이터 형식을 처리할 수 있는 강력한 멀티모달 모델을 학습시키는 데 매우 중요합니다.

데이터 전처리

다음은 학습 데이터에 적용되는 주요 데이터 정리 및 필터링 방법입니다.

  • CSAM 필터링: 데이터 준비 과정의 여러 단계에서 엄격한 CSAM (아동 성적 학대 콘텐츠) 필터링을 적용하여 유해하고 불법적인 콘텐츠를 제외했습니다.
  • 민감한 정보 필터링: Gemma의 사전 학습 모델을 안전하고 신뢰할 수 있게 만들기 위한 노력의 일환으로, 학습 세트에서 특정한 개인 정보와 기타 민감한 정보를 필터링하기 위한 자동화된 기술이 사용되었습니다.
  • 추가 방법: Google 정책에 따라 콘텐츠 품질 및 안전을 기준으로 필터링합니다.

윤리 및 안전

개방형 모델이 엔터프라이즈 인프라의 핵심이 됨에 따라 출처와 보안이 매우 중요합니다. Google DeepMind에서 개발한 DiffusionGemma는 Google의 독점 Gemini 모델과 동일한 엄격한 안전 평가를 거칩니다.

평가 접근 방식

DiffusionGemma는 내부 안전 및 책임감 있는 AI팀과의 파트너십을 통해 개발되었습니다. 모델 안전성을 개선하기 위해 다양한 자동 평가와 인간 평가가 수행되었습니다. 이러한 평가는 Google의 AI 원칙과 안전 정책에 부합하며, 생성형 AI 모델이 다음과 같은 유해한 콘텐츠를 생성하지 못하도록 방지하는 것을 목표로 합니다.

  • 아동 성적 학대 콘텐츠 및 착취와 관련된 콘텐츠
  • 위험한 콘텐츠 (예: 자살 조장, 실제 피해를 유발할 수 있는 활동 지시)
  • 음란물
  • 증오심 표현 (예: 보호 대상 집단 구성원의 인간성을 무시하는 표현)
  • 괴롭힘 (예: 사람에 대한 폭력 조장)

평가 결과

모든 안전 테스트 영역에서 이전 세대의 Gemma 모델에 비해 모든 콘텐츠 안전 카테고리가 크게 개선되었습니다. 전반적으로 DiffusionGemma는 Gemma 4 모델과 마찬가지로 Gemma 3 및 3n 모델보다 안전성을 크게 개선하는 동시에 부당한 거부를 낮게 유지합니다. 모든 테스트는 모델의 원시 기능과 기준 동작을 평가하기 위해 의도적으로 안전 필터 없이 수행되었습니다. 텍스트 간 변환과 이미지 텍스트 변환 모두에서, 그리고 모든 모델 크기에서 모델은 정책 위반을 최소화했으며 이전 Gemma 모델에 비해 크게 개선되었습니다.

사용 및 제한사항

이러한 모델에는 사용자가 알아야 할 특정 제한사항이 있습니다.

용도

멀티모달 모델 (시각, 언어 또는 오디오를 처리할 수 있음)은 다양한 산업과 분야에서 광범위하게 적용됩니다. 다음 잠재적 용도 목록은 전체 목록이 아닙니다. 이 목록의 목적은 모델 제작자가 모델 학습 및 개발의 일부로 고려한 가능한 사용 사례에 대한 컨텍스트 정보를 제공하는 것입니다.

  • 콘텐츠 제작 및 커뮤니케이션
    • 텍스트 생성: 시, 스크립트, 코드, 마케팅 문구, 이메일 초안과 같은 창의적인 텍스트 형식을 생성합니다.
    • 챗봇 및 대화형 AI: 고객 서비스, 가상 어시스턴트 또는 대화형 애플리케이션을 위한 대화형 인터페이스를 지원합니다.
    • 텍스트 요약: 텍스트 코퍼스, 연구 논문 또는 보고서의 간결한 요약을 생성합니다.
    • 이미지 데이터 추출: 텍스트 커뮤니케이션을 위해 시각적 데이터를 추출, 해석, 요약합니다.
  • 연구 및 교육
    • 자연어 처리 (NLP) 및 VLM 연구: 연구원이 VLM 및 NLP 기술을 실험하고, 알고리즘을 개발하고, 이 분야의 발전에 기여할 수 있는 기반을 제공합니다.
    • 언어 학습 도구: 대화형 언어 학습 환경을 지원하여 문법 교정을 돕거나 작문 연습을 제공합니다.
    • 지식 탐색: 특정 주제에 대한 요약을 생성하거나 질문에 답변하여 연구자가 대량의 텍스트를 탐색하도록 지원합니다.

제한사항

  • 학습 데이터
    • 학습 데이터의 품질과 다양성은 모델의 기능에 큰 영향을 미칩니다. 학습 데이터의 편향이나 격차로 인해 모델의 대답에 제한이 있을 수 있습니다.
    • 학습 데이터 세트의 범위에 따라 모델이 효과적으로 처리할 수 있는 분야가 결정됩니다.
  • 맥락 및 작업 복잡성
    • 이 모델은 명확한 프롬프트와 요청 사항으로 구성할 수 있는 작업에서 우수한 성능을 발휘합니다. 개방형 작업이나 매우 복잡한 작업은 어려울 수 있습니다.
    • 모델의 성능은 제공되는 컨텍스트의 양에 따라 달라질 수 있습니다. 일반적으로 컨텍스트가 길수록 특정 지점까지 더 나은 출력이 생성됩니다.
  • 언어의 모호성과 뉘앙스
    • 자연어는 본질적으로 복잡합니다. 모델이 미묘한 뉘앙스, 풍자 또는 비유적 표현을 파악하는 데 어려움을 겪을 수 있습니다.
  • 사실 정확성
    • 모델은 학습 데이터 세트에서 학습한 정보를 기반으로 대답을 생성하지만 기술 자료는 아닙니다. 부정확하거나 오래된 사실 진술을 생성할 수 있습니다.
  • Common Sense
    • 모델은 언어의 통계적 패턴에 의존합니다. 특정 상황에서 상식적인 추론을 적용하는 능력이 부족할 수 있습니다.

윤리적 고려사항 및 위험

개방형 시각 언어 모델을 만들 때 다음 사항을 신중하게 고려했습니다.

  • 편향과 공정성
    • 대규모의 실제 텍스트 및 이미지 데이터로 학습된 VLM은 학습 자료에 내재된 사회 문화적 편향을 반영할 수 있습니다. DiffusionGemma는 이러한 편향의 위험을 완화하기 위해 이 카드에 보고된 대로 신중한 조사, 입력 데이터 사전 처리, 사후 학습 평가를 거쳤습니다.
  • 잘못된 정보 및 오용
    • VLM은 거짓이거나 오해의 소지가 있거나 유해한 텍스트를 생성하는 데 오용될 수 있습니다.
    • 모델을 책임감 있게 사용하기 위한 가이드라인은 책임감 있는 생성형 AI 툴킷을 참조하세요.
  • 투명성 및 책임성
    • 이 모델 카드에는 모델의 아키텍처, 기능, 제한사항, 평가 프로세스에 관한 세부정보가 요약되어 있습니다.
    • 책임감 있게 개발된 개방형 모델은 AI 생태계 전반의 개발자와 연구자가 VLM 기술에 액세스할 수 있도록 하여 혁신을 공유할 기회를 제공합니다.

식별된 위험 및 완화 조치:

  • 유해한 콘텐츠 생성: 콘텐츠 안전을 위한 메커니즘과 가이드라인이 필수적입니다. 개발자는 주의를 기울이고 특정 제품 정책 및 애플리케이션 사용 사례에 따라 적절한 콘텐츠 안전 보호 장치를 구현하는 것이 좋습니다.
  • 악의적인 목적으로 오용: 기술적 제한사항과 개발자 및 최종 사용자 교육은 VLM의 악의적인 애플리케이션을 완화하는 데 도움이 될 수 있습니다. 사용자가 오용을 신고할 수 있는 교육 리소스와 신고 메커니즘이 제공됩니다.
  • 개인 정보 침해: 모델은 특정 개인 정보 및 기타 민감한 정보를 삭제하기 위해 필터링된 데이터를 학습했습니다. 개발자는 개인 정보 보호 기술을 사용하여 개인 정보 보호 규정을 준수하는 것이 좋습니다.
  • 편향의 영속화: 모델 학습, 미세 조정, 기타 사용 사례 중에 지속적인 모니터링(평가 측정항목, 인적 검토 사용)과 편향 제거 기법 탐색을 수행하는 것이 좋습니다.

이점

출시 시점에 이 모델은 지연 시간이 짧고 성능이 우수한 개방형 시각 언어 모델로, 개발자와 확산 언어 모델 연구에 관심이 있는 사람들에게 매력적인 옵션을 제공합니다. 이 모델은 비슷한 크기의 모델에 비해 책임감 있는 AI 개발을 위해 처음부터 설계되었습니다.