DiffusionGemma는 텍스트 생성에 매우 빠른 접근 방식인 텍스트 확산을 탐색하는 실험적인 오픈 모델입니다. 260억 (활성 40억) 전문가 망 (MoE) Gemma 4 아키텍처를 기반으로 하는 DiffusionGemma는 이산 확산을 사용하여 토큰을 생성합니다. 이 공개 가중치 모델은 멀티모달로, 텍스트, 이미지, 동영상 입력을 처리하여 텍스트 출력을 생성합니다.
MoE 기반으로 빌드된 DiffusionGemma는 다양한 하드웨어 환경에서 배포 가능한 상태를 유지하면서 생성 속도 (초당 토큰)를 개선하도록 설계되었습니다. DiffusionGemma는 Gemma 4의 아키텍처 및 기능 개선을 기반으로 하며 다음과 같은 몇 가지 핵심 기능을 도입합니다.
- 이산 텍스트 확산: 기존의 인과적 토큰 생성에서 블록 자동 회귀 멀티 캔버스 샘플링으로 전환합니다. 이 모델은 토큰 블록('캔버스')을 병렬로 반복적으로 노이즈 제거하여 텍스트를 생성하므로 디코딩 속도가 크게 향상됩니다.
- 멀티모달 처리: 텍스트, 이미지 (다양한 가로세로 비율 및 해상도 지원), 동영상 입력을 기본적으로 허용합니다. (참고: 오디오 입력은 지원되지 않습니다.)
- 인코더-디코더 아키텍처: 자기 회귀 인코더를 활용하여 프롬프트 컨텍스트를 처리하고 캐시하며, 생성 캔버스에 양방향 어텐션을 적용하는 노이즈 제거와 페어링됩니다.
- 전문가 망 (MoE) 효율성: 26B (4B 활성) MoE 변형을 기반으로 하는 스파스 MoE 설계를 활용하여 오버헤드를 최소화하면서 심층적인 추론 기능을 제공합니다. 양자화하면 소비자 GPU의 18GB VRAM 한도 내에 적합하여 로컬 실행에 이상적입니다.
- 사고 모드: 내장된 구성 가능한 추론 채널을 통해 모델이 최종 답변을 내보내기 전에 단계별로 생각할 수 있습니다.
기존 모델과의 절충
기존 언어 모델은 수천 개의 요청을 일괄 처리할 수 있으므로 대규모 클라우드 배포에 매우 효율적이지만, 단일 사용자를 위해 로컬로 실행하면 하드웨어가 제대로 활용되지 않습니다. DiffusionGemma는 한 번에 하나의 토큰이 아닌 전체 256개 토큰 블록을 동시에 생성하여 로컬 하드웨어 성능을 극대화함으로써 이 문제를 해결합니다.
하지만 이 접근 방식은 소비자 대상의 동시성이 낮은 로컬 사용을 위한 것입니다. 병렬 디코딩은 QPS가 높은 클라우드 워크로드에서 수확 체감의 법칙을 따르기 때문에 처리량 이점은 단일 가속기에서 배치 크기가 낮음에서 중간일 때 가장 강합니다.
권장되는 서빙 구성
지연 시간과 품질을 최적화하려면 확산 샘플링 설정에 다음 기본 매개변수를 사용하여 배포하는 것이 좋습니다.
| 매개변수 | 권장가 | 함수 | 근거 |
|---|---|---|---|
| 최대 노이즈 제거 단계 수 | 48 | 캔버스당 노이즈 제거 단계 수의 상한입니다. | 노이즈 제거 단계의 안전한 한도입니다. 적응형 중지가 사용 설정되면 노이즈 제거가 더 적은 단계로 중지되며, 일반적으로 작업에 따라 12~16단계입니다. |
| 온도 설정 일정 | 선형 0.8 -> 0.4 | 높은 값으로 시작하여 노이즈 제거 단계에 따라 감소하는 온도 스케일링 일정입니다. | 높은 온도 (0.8)는 초기 탐색을 장려하고 낮은 온도 (0.4)는 최종 토큰을 고정합니다. |
| 적응형 조기 중단 | 엔트로피 임곗값: 0.005 | 캔버스 전체의 평균 모델 엔트로피가 임계값 미만이고 두 개의 연속된 디노이저 예측이 동일하게 유지되면 실행이 조기에 중단됩니다. |
코드와 같은 간단한 프롬프트와 구조화된 작업에는 노이즈 제거 단계가 적게 필요하므로 작업 복잡성에 따라 초당 토큰 속도를 동적으로 조정할 수 있습니다. |
| 토큰 선택 | 엔트로피 경계: 0.1 | 각 단계에서 샘플러는 상호 정보 경계가 엔트로피 경계 아래로 유지되도록 엔트로피가 가장 낮은 토큰을 선택합니다. 샘플러는 선택되지 않은 토큰을 완전히 다시 노이즈 처리합니다. | 모델이 비교적 확실하다고 생각하는 토큰만 선택하여 캔버스를 세부적으로 조정하고 다른 토큰은 나중에 노이즈 제거 단계에서 세부적으로 조정합니다. |
Hugging Face에서 다운로드 Kaggle에서 다운로드 Vertex에서 액세스
실험 모델 가중치 (Apache 2.0 라이선스에 따라 출시됨)에 액세스하여 자체 프로젝트 및 애플리케이션에 배포할 수 있습니다.