Карточка модели DiffusionGemma

Hugging Face | GitHub | Блог о запуске | Документация
Лицензия: Apache 2.0 | Авторы: Google DeepMind

DiffusionGemma – это генеративная модель, созданная Google DeepMind. DiffusionGemma основана на архитектуре Gemma 4 со смесью экспертов (MoE) 26B A4B и генерирует токены с помощью дискретной диффузии. Эта мультимодальная модель с открытыми весами обрабатывает текстовые, графические и видеоданные и генерирует текстовые ответы.

DiffusionGemma основана на MoE и разработана для повышения скорости генерации (токенов в секунду) с возможностью развертывания в различных аппаратных средах. DiffusionGemma основана на архитектуре и возможностях Gemma 4 и включает несколько основных функций:

  • Дискретная текстовая диффузия. Переход от посимвольной авторегрессии к блочной авторегрессии с несколькими холстами. Она генерирует текст, параллельно и итеративно удаляя шум из блоков токенов (холстов), что значительно увеличивает скорость декодирования.
  • Обработка мультимодальных входных данных. Обрабатывает чередующиеся текстовые, графические (с поддержкой переменного соотношения сторон и разрешения) и видеоданные для генерации текстовых выходных данных.
  • Архитектура кодировщика-декодировщика. Использует авторегрессионный кодировщик для обработки и кеширования контекста запроса в паре с декодером, который применяет двунаправленное внимание к холсту генерации.
  • Эффективность Mixture-of-Experts (MoE). Использует разреженную архитектуру MoE (8 активных экспертов из 128), чтобы обеспечить мощные возможности рассуждения при низком потреблении памяти, подходящем для локального выполнения.
  • Режим рассуждения. Модель с расширенными возможностями рассуждения и настраиваемыми режимами.
  • Оптимизация для инференса с небольшим размером пакета — Модель разработана для быстрой генерации с низкой задержкой на одном ускорителе.
  • Поддержка системных запросов. Как и Gemma 4, Gemma 5 поддерживает обновление роли system, что позволяет вести более структурированные и контролируемые диалоги.

Обзор модели

DiffusionGemma разработана так, чтобы снизить количество последовательных узких мест, характерных для стандартных каузальных языковых моделей. В ней используется архитектура кодировщика-декодера, специально оптимизированная для скорости вывода.

Кодировщик работает в режиме предварительного заполнения, обрабатывая исходный запрос и генерируя кеш KV. Затем декодер использует двунаправленное внимание для обработки входного блока (холста) токенов, получая доступ к кешированному контексту через перекрестное внимание.

При инференсе DiffusionGemma использует выборку с несколькими холстами. Вместо того чтобы генерировать по одному токену за раз, модель итеративно удаляет шум из полного блока токенов с помощью диффузионного сэмплера. Когда холст полностью очищен от шума, он обрабатывается кодировщиком и добавляется в кеш KV, после чего модель генерирует следующий холст. Этот блочно-авторегрессионный подход позволяет генерировать текст на более высоких скоростях.

DiffusionGemma

Свойство DiffusionGemma 26B A4B
Общее количество параметров 25,2 млрд
Активные параметры 3,8 млрд
Слои 30
Скользящее окно 1024 токена
Длина контекста До 256 000 токенов
Длина холста 256
Размер словаря 262 тыс.
Количество экспертов 8 активных, 128 всего, 1 общий
Поддерживаемые модальности Текст, изображение
Параметры кодировщика изображений ~550 млн

Результаты тестирования

Эти модели оценивались на основе большой коллекции различных наборов данных и показателей, чтобы охватить разные аспекты генерации текста. Результаты оценки, отмеченные в таблице, относятся к моделям, настроенным на основе инструкций, с рекомендуемым сэмплером Entropy Bound (EB) (см. раздел "Рекомендации" ниже).

Сравнение DiffusionGemma 26B A4B Gemma 4 26B A4B
MMLU Pro 77,6% 82,6%
AIME 2026 no tools 69,1% 88,3%
LiveCodeBench v6 69,1% 77,1%
Рейтинг Codeforces ELO 1429 1718
GPQA Diamond 73,2% 82,3%
Tau2 (среднее по 3) 56,2% 68,2%
HLE no tools 11,0% 8,7%
HLE с поиском 11,9 % 17,2 %
BigBench Extra Hard 47,6% 64,8%
MMMLU 81,5% 86,3%
Нарушения зрения
MMMU Pro 54,3% 73,8%
OmniDocBench 1.5 (среднее расстояние редактирования, чем меньше, тем лучше) 0,319 0,149
MATH-Vision 70,5% 82,4%
MedXPertQA MM 49,0% 58,1%
Большое окно контекста
MRCR v2 8 needle 128k (среднее) 32,0% 44,1%

Основные возможности

DiffusionGemma справляется с широким спектром задач, связанных с текстом и изображениями. Вот основные возможности:

  • Высокая скорость генерации. Параллельное шумоподавление 256 токенов с помощью диффузионной выборки обеспечивает низкую задержку, генерируя 15–20 токенов за один проход. Это позволяет достичь скорости генерации более 1100 токенов в секунду на пользователя при небольшом размере пакета (H100, FP8).
  • Адаптивное вычисление времени инференса. Для простых запросов и структурированных задач, таких как написание кода, требуется меньше шагов шумоподавления, что позволяет динамически регулировать скорость генерации токенов в секунду в зависимости от сложности задачи.
  • Thinking. Встроенный режим рассуждения, который позволяет модели думать пошагово, прежде чем отвечать.
  • Большое окно контекста – до 256 000 токенов.
  • Распознавание изображений. Обнаружение объектов, анализ документов и PDF-файлов, распознавание экранов и интерфейсов, понимание диаграмм, оптическое распознавание символов (в том числе на разных языках), распознавание рукописного ввода и указание на объекты. Изображения могут обрабатываться с различными соотношениями сторон и разрешениями.
  • Распознавание видео. Анализирует и описывает видеоконтент, обрабатывая последовательности кадров.
  • Чередующиеся мультимодальные входные данные. Смешивайте изображения, видео и текст в одном запросе для рассуждений с большим количеством контекста.
  • Вызов функций. Встроенная поддержка структурированных инструментов, позволяющая создавать агентные рабочие процессы.
  • Программирование и рассуждения. Модель способна генерировать и дополнять код, а также пошагово рассуждать.
  • Многоязычность. Поддержка более 35 языков, предварительное обучение на более чем 140 языках.

Рекомендации

Чтобы обеспечить максимальную эффективность, используйте следующие конфигурации и рекомендации:

1. Настройки выборки диффузии

Используйте следующую стандартизированную конфигурацию выборки для всех вариантов использования:

  • Метод. Диффузионная выборка с шумоподавлением с ограниченной энтропией и адаптивной остановкой.
  • Конфигурация выборки:
    • Максимальное количество шагов шумоподавления – 48.
    • Расписание изменения температуры (для формирования логитов): линейное затухание от 0,8 до 0,4.
    • Выбор токенов. На каждом шаге сэмплер выбирает токены с наименьшей энтропией, чтобы их взаимная информация оставалась ниже границы энтропии, равной 0,1.
    • Добавление шума к токенам. Семплер полностью добавляет шум к невыбранным токенам.
  • Адаптивная остановка. Выборка прекращается раньше времени, если и только если одновременно выполняются оба следующих условия:
    • Уверенные прогнозы: средняя энтропия модели по холсту ниже порогового значения энтропии, равного 0,005.
    • Стабильные подсказки. Подсказки токенов с наивысшей вероятностью остаются идентичными на двух последовательных шагах шумоподавления.

2. Настройка режима Thinking

Как и в моделях Gemma 4, мы используем стандартные роли system, assistant и user. Чтобы правильно управлять процессом рассуждения, используйте следующие токены управления:

  • Запуск рассуждений. Рассуждения включаются добавлением токена <|think|> в начале системного запроса. Чтобы отключить рассуждения, удалите токен. Обратите внимание, что пустой канал рассуждений все равно может быть создан.
  • Стандартная генерация. Когда мышление включено, модель выводит свои внутренние рассуждения, а затем окончательный ответ, используя следующую структуру: <|channel>thought\n[Внутренние рассуждения]<channel|>.
  • Поведение при отключенном мышлении: Если мышление отключено, модель все равно будет генерировать теги, но с пустым блоком рассуждений: <|channel>thought\n<channel|>[Окончательный ответ].

Обратите внимание, что многие библиотеки, такие как transformers, берут на себя сложности, связанные с шаблоном чата.

3. Многоэтапные разговоры

  • В истории нет контента, связанного с рассуждениями. В многоэтапных разговорах в истории выходных данных модели должен быть только окончательный ответ. Размышления из предыдущих реплик модели не должны добавляться до начала следующей реплики пользователя.

4. Порядок модальностей

  • Чтобы получить оптимальный результат при мультимодальном вводе, размещайте изображения перед текстом в запросе.

5. Переменное разрешение изображения

Помимо переменного соотношения сторон, DiffusionGemma поддерживает переменное разрешение изображения за счет настраиваемого бюджета визуальных токенов, который определяет, сколько токенов используется для представления изображения. Больший бюджет токенов позволяет сохранить больше визуальных деталей за счет дополнительных вычислительных ресурсов, а меньший бюджет обеспечивает более быстрый инференс для задач, не требующих детального понимания.

  • Поддерживаемые лимиты токенов: 70, 140, 280, 560 и 1120.
    • Используйте меньшие бюджеты для классификации, субтитров или распознавания видео, когда более быстрый вывод и обработка многих кадров перевешивают мелкие детали.
    • Используйте более высокие бюджеты для таких задач, как оптическое распознавание символов, синтаксический анализ документов или чтение мелкого текста.

6. Продолжительность видео

Все модели поддерживают изображения в качестве входных данных и могут обрабатывать видео как кадры. Максимальная продолжительность видео – 60 секунд, если изображения обрабатываются с частотой один кадр в секунду.

Данные модели

Данные, которые использовались для обучения модели, и способ их обработки.

Обучающий набор данных

Набор данных для предварительного обучения – это большая и разнообразная коллекция данных, охватывающая широкий спектр областей и модальностей, включая веб-документы, код, изображения и аудио. Дата отсечения – январь 2025 года. Вот основные компоненты:

  • Веб-документы. Разнообразная коллекция веб-текстов позволяет модели познакомиться с широким спектром лингвистических стилей, тем и словарного запаса. Набор данных для обучения включает контент более чем на 140 языках.
  • Код. Знакомство с кодом помогает модели изучить синтаксис и шаблоны языков программирования, что улучшает ее способность генерировать код и понимать вопросы, связанные с кодом.
  • Математика. Обучение на математических текстах помогает модели освоить логическое мышление, символическое представление и решение математических задач.
  • Изображения. Большое количество изображений позволяет модели анализировать их и извлекать визуальные данные.

Сочетание этих разнообразных источников данных имеет решающее значение для обучения мощной мультимодальной модели, которая может обрабатывать самые разные задачи и форматы данных.

Предварительная обработка данных

Вот основные методы очистки и фильтрации данных, применяемые к обучающим данным:

  • Фильтрация контента, представляющего несовершеннолетних в сексуальном контексте. На нескольких этапах подготовки данных применялась строгая фильтрация контента, представляющего несовершеннолетних в сексуальном контексте, чтобы исключить вредные и незаконные материалы.
  • Фильтрация конфиденциальных данных. Чтобы сделать предварительно обученные модели Gemma безопасными и надежными, мы использовали автоматизированные методы фильтрации, которые удаляют из обучающих наборов данных определенную личную информацию и другие конфиденциальные данные.
  • Дополнительные методы. Фильтрация на основе качества и безопасности контента в соответствии с нашими правилами.

Этика и безопасность

Поскольку открытые модели становятся центральным элементом корпоративной инфраструктуры, происхождение и безопасность имеют первостепенное значение. DiffusionGemma разработана Google DeepMind и проходит такие же строгие проверки безопасности, как и наши собственные модели Gemini.

Подход к оценке

Модель DiffusionGemma была разработана в сотрудничестве с внутренними командами по безопасности и ответственному ИИ. Чтобы повысить безопасность модели, мы провели ряд автоматических и ручных проверок. Эти оценки соответствуют принципам Google в отношении ИИ, а также правилам безопасности, которые направлены на то, чтобы наши модели генеративного ИИ не создавали вредный контент, в том числе:

  • Контент, связанный с изображением несовершеннолетних в сексуальном контексте и их эксплуатацией
  • Опасный контент (например, пропаганда самоубийств или инструкции по действиям, которые могут причинить вред в реальном мире).
  • Содержание сексуального характера
  • Дискриминационные высказывания (например, обесчеловечивание представителей защищаемых от дискриминации категорий лиц).
  • Харассмент (например, призывы к насилию в отношении людей).

Результаты оценки

Во всех областях тестирования безопасности мы наблюдали значительные улучшения во всех категориях безопасности контента по сравнению с предыдущими поколениями моделей Gemma. В целом DiffusionGemma, как и модели Gemma 4, значительно превосходит Gemma 3 и 3n в обеспечении безопасности, сохраняя при этом низкий уровень необоснованных отказов. Все тесты намеренно проводились без фильтров безопасности, чтобы оценить исходные возможности и базовое поведение модели. Как для текстовых, так и для мультимодальных моделей всех размеров было зафиксировано минимальное количество нарушений правил и значительные улучшения по сравнению с предыдущими моделями Gemma.

Использование и ограничения

У этих моделей есть определенные ограничения, о которых пользователям следует знать.

Использование по назначению

Мультимодальные модели, способные обрабатывать визуальные, языковые и/или аудиоданные, имеют широкий спектр применения в различных отраслях и областях. Ниже приведены некоторые примеры. Этот список предназначен для предоставления контекстной информации о возможных вариантах использования, которые создатели модели рассматривали в рамках обучения и разработки модели.

  • Создание контента и общение
    • Генерация текста. Создание текстов в разных форматах, например стихов, сценариев, кода, маркетинговых текстов и черновиков электронных писем.
    • Чат-боты и разговорный ИИ. Обеспечение работы диалоговых интерфейсов для обслуживания клиентов, виртуальных помощников и интерактивных приложений.
    • Обобщение текста. Создание кратких пересказов корпуса текстов, научных статей или отчетов.
    • Извлечение данных из изображений. Извлекает, интерпретирует и обобщает визуальные данные для текстовых сообщений.
  • Исследования и образование
    • Исследования в области обработки естественного языка (NLP) и визуально-языковых моделей (VLM). Gemma 2 служит основой для экспериментов с методами VLM и NLP, разработки алгоритмов и вклада в развитие этой области.
    • Инструменты для изучения языков. Поддерживает интерактивное обучение языкам, помогая исправлять грамматические ошибки или предоставляя практику письма.
    • Поиск информации. Помогает исследователям изучать большие объемы текста, создавая краткие пересказы или отвечая на вопросы по определенным темам.

Ограничения

  • Данные для обучения
    • Качество и разнообразие данных для обучения существенно влияют на возможности модели. Предвзятость или пробелы в данных для обучения могут привести к ограничениям в ответах модели.
    • Область применения набора данных для обучения определяет предметные области, с которыми модель может эффективно работать.
  • Контекст и сложность задачи
    • Модель хорошо справляется с задачами, которые можно сформулировать с помощью четких запросов и инструкций. Открытые или очень сложные задачи могут быть сложными.
    • На эффективность модели может влиять объем предоставленного контекста (более длинный контекст обычно приводит к лучшим результатам, но до определенного момента).
  • Неоднозначность и нюансы языка
    • Естественный язык по своей природе сложен. Модель может не улавливать тонкие нюансы, сарказм или образный язык.
  • Фактическая точность
    • Модель генерирует ответы на основе информации, полученной из наборов данных для обучения, но не является базой знаний. Она может генерировать неверные или устаревшие утверждения.
  • Common Sense
    • Модель опирается на статистические закономерности в языке. В некоторых ситуациях ему может не хватать способности применять здравый смысл.

Этические соображения и риски

При создании открытой визуально-языковой модели мы тщательно продумали следующее:

  • Предвзятость и справедливость
    • VLM, обученные на больших объемах реальных текстовых и графических данных, могут отражать социокультурные предубеждения, заложенные в обучающих материалах. Чтобы снизить риск предвзятости, мы тщательно проверили DiffusionGemma, предварительно обработали входные данные и провели оценку после обучения, как описано в этой карточке.
  • Ложная информация и недопустимое использование
  • Прозрачность и подотчетность
    • В этой карточке модели приведены сведения об архитектуре, возможностях, ограничениях и процессах оценки модели.
    • Ответственно разработанная открытая модель позволяет делиться инновациями, делая технологию VLM доступной для разработчиков и исследователей во всей экосистеме ИИ.

Выявленные риски и меры по их снижению.

  • Генерация вредоносного контента. Необходимы механизмы и рекомендации по обеспечению безопасности контента. Разработчикам рекомендуется проявлять осторожность и внедрять соответствующие меры безопасности контента на основе правил в отношении продуктов и сценариев использования приложений.
  • Недопустимое использование во вредоносных целях. Технические ограничения и обучение разработчиков и конечных пользователей могут помочь снизить риск вредоносного использования VLM. Пользователям предоставляются образовательные материалы и механизмы для сообщения о недопустимом использовании.
  • Нарушения конфиденциальности. Модели обучались на данных, из которых была удалена определенная личная информация и другие конфиденциальные сведения. Разработчикам рекомендуется соблюдать законы в отношении конфиденциальности, используя методы обеспечения конфиденциальности.
  • Сохранение предвзятости. Рекомендуется постоянно отслеживать работу модели (с помощью метрик оценки и проверки специалистами) и изучать методы устранения предвзятости во время обучения, тонкой настройки и других сценариев использования.

Преимущества

На момент выпуска это высокопроизводительная открытая визуально-языковая модель с низкой задержкой, которая представляет собой привлекательный вариант для разработчиков и тех, кто интересуется исследованием диффузионных языковых моделей. Модель разработана с нуля для ответственного развития ИИ по сравнению с моделями аналогичного размера.