Карточка модели Джеммы 3

Страница модели : Джемма

Ресурсы и техническая документация :

• Технический отчет Джеммы 3
• Инструментарий ответственного генеративного искусственного интеллекта
• Джемма на Kaggle
• Джемма в модельном саду Vertex

Условия использования : Условия

Авторы : Google DeepMind.

Информация о модели

Краткое описание и краткое определение входов и выходов.

Описание

Gemma — это семейство легких современных открытых моделей от Google, созданных на основе тех же исследований и технологий, которые использовались при создании моделей Gemini. Модели Gemma 3 являются мультимодальными, обрабатывают ввод текста и изображений и генерируют текстовый вывод с открытыми весами как для предварительно обученных вариантов, так и для вариантов, настроенных с помощью инструкций. Gemma 3 имеет большое контекстное окно размером 128 КБ, многоязычную поддержку более чем на 140 языках и доступна в большем размере, чем предыдущие версии. Модели Gemma 3 хорошо подходят для различных задач по генерации текста и распознаванию изображений, включая ответы на вопросы, обобщение и рассуждение. Их относительно небольшой размер позволяет развертывать их в средах с ограниченными ресурсами, таких как ноутбуки, настольные компьютеры или собственная облачная инфраструктура, демократизируя доступ к современным моделям искусственного интеллекта и помогая стимулировать инновации для всех.

Входы и выходы

• Вход:

  • Текстовая строка, например вопрос, подсказка или документ, который нужно суммировать.
  • Изображения, нормализованные до разрешения 896 x 896 и закодированные до 256 токенов каждое.
  • Общий входной контекст: 128 000 токенов для размеров 4B, 12B и 27B и 32 000 токенов для размера 1B.

• Выход:

  • Сгенерированный текст в ответ на ввод, например ответ на вопрос, анализ содержимого изображения или краткое изложение документа.
  • Общий выходной контекст до 128 000 токенов для размеров 4 Б, 12 Б и 27 Б и 32 000 токенов для размера 1 Б на запрос, за вычетом входных токенов запроса.

Цитирование

@article{gemma_2025,
    title={Gemma 3},
    url={https://arxiv.org/abs/2503.19786},
    publisher={Google DeepMind},
    author={Gemma Team},
    year={2025}
}

Данные модели

Данные, используемые для обучения модели, и способ обработки данных.

Набор обучающих данных

Эти модели были обучены на наборе текстовых данных, включающем широкий спектр источников. Модель 27B была обучена на 14 триллионах токенов, модель 12B — на 12 триллионах токенов, модель 4B — на 4 триллионах токенов и модель 1B — на 2 триллионах токенов. Датой окончания сбора данных для обучения был август 2024 года. Вот ключевые компоненты:

• Веб-документы: разнообразная коллекция веб-текста гарантирует, что модель будет доступна для широкого спектра лингвистических стилей, тем и словаря. Набор обучающих данных включает контент на более чем 140 языках.
• Код. Представление модели в коде помогает ей изучить синтаксис и шаблоны языков программирования, что улучшает ее способность генерировать код и понимать вопросы, связанные с кодом.
• Математика: Обучение математическому тексту помогает модели научиться логическим рассуждениям, символическому представлению и решению математических запросов.
• Изображения. Широкий диапазон изображений позволяет модели выполнять анализ изображений и задачи извлечения визуальных данных.

Сочетание этих разнообразных источников данных имеет решающее значение для обучения мощной мультимодальной модели, которая может обрабатывать широкий спектр различных задач и форматов данных.

Предварительная обработка данных

Вот ключевые методы очистки и фильтрации данных, применяемые к обучающим данным:

• Фильтрация CSAM: строгая фильтрация CSAM (материалов о сексуальном насилии над детьми) применялась на нескольких этапах процесса подготовки данных, чтобы гарантировать исключение вредного и незаконного контента.
• Фильтрация конфиденциальных данных. Чтобы сделать предварительно обученные модели Gemma безопасными и надежными, использовались автоматизированные методы для фильтрации определенной личной информации и других конфиденциальных данных из обучающих наборов.
• Дополнительные методы: Фильтрация по качеству и безопасности контента в соответствии с нашими политиками .

Информация о реализации

Подробности о внутреннем устройстве модели.

Аппаратное обеспечение

Джемма обучалась с использованием аппаратного обеспечения тензорного процессора (TPU) (TPUv4p, TPUv5p и TPUv5e). Обучение моделей визуального языка (VLMS) требует значительных вычислительных мощностей. TPU, разработанные специально для матричных операций, распространенных в машинном обучении, предлагают в этой области несколько преимуществ:

• Производительность: TPU специально разработаны для выполнения огромных вычислений, связанных с обучением VLM. Они могут значительно ускорить обучение по сравнению с процессорами.
• Память: TPU часто оснащены большим объемом памяти с высокой пропускной способностью, что позволяет обрабатывать большие модели и пакеты во время обучения. Это может привести к улучшению качества модели.
• Масштабируемость: модули TPU (большие кластеры TPU) предоставляют масштабируемое решение для обработки растущей сложности больших моделей фундамента. Вы можете распределить обучение между несколькими устройствами TPU для более быстрой и эффективной обработки.
• Экономическая эффективность. Во многих сценариях TPU могут обеспечить более экономичное решение для обучения больших моделей по сравнению с инфраструктурой на базе ЦП, особенно если учесть время и ресурсы, сэкономленные за счет более быстрого обучения.
• Эти преимущества соответствуют обязательствам Google работать устойчиво .

Программное обеспечение

Обучение проводилось с использованием JAX и ML Pathways .

JAX позволяет исследователям использовать преимущества оборудования последнего поколения, включая TPU, для более быстрого и эффективного обучения больших моделей. ML Pathways — это последняя попытка Google создать системы искусственного интеллекта, способные обобщать решение нескольких задач. Это особенно подходит для базовых моделей, включая такие большие языковые модели, как эта.

Вместе JAX и ML Pathways используются, как описано в статье о семействе моделей Gemini ; «Модель программирования Jax и Pathways с «единым контроллером» позволяет одному процессу Python управлять всем процессом обучения, значительно упрощая рабочий процесс разработки».

Оценка

Метрики и результаты оценки модели.

Результаты тестов

Эти модели оценивались на основе большой коллекции различных наборов данных и показателей, охватывающих различные аспекты генерации текста. Результаты оценки, отмеченные значком IT , относятся к моделям, настроенным по инструкциям. Результаты оценки, отмеченные PT, относятся к предварительно обученным моделям.

Рассуждения и факты

STEM и код

Многоязычный

Мультимодальный

Этика и безопасность

Подход и результаты оценки этики и безопасности.

Подход к оценке

Наши методы оценки включают структурированные оценки и внутреннее групповое тестирование соответствующих политик в отношении контента. «Красная команда» проводилась несколькими разными командами, каждая из которых преследовала разные цели и показатели человеческой оценки. Эти модели оценивались по ряду различных категорий, имеющих отношение к этике и безопасности, в том числе:

• Безопасность детей : оценка подсказок преобразования текста в текст и изображения в текст, охватывающих политику безопасности детей, включая сексуальное насилие и эксплуатацию детей.
• Безопасность контента: оценка подсказок преобразования текста в текст и изображения в текст, охватывающих политику безопасности, включая преследование, насилие и жестокость, а также разжигание ненависти.
• Репрезентативный вред : оценка подсказок преобразования текста в текст и изображения в текст, охватывающих политику безопасности, включая предвзятость, стереотипы, а также вредные ассоциации или неточности.

В дополнение к оценкам уровня развития мы проводим «оценки достоверности», которые представляют собой наши внутренние оценки «на расстоянии вытянутой руки» для принятия решений по управлению ответственностью. Они проводятся отдельно от команды разработчиков модели, чтобы обеспечить принятие решений о выпуске. Результаты высокого уровня передаются обратно команде моделирования, но наборы подсказок сохраняются, чтобы предотвратить переобучение и сохранить способность результатов влиять на принятие решений. Результаты проверки качества передаются нашему Совету по ответственности и безопасности в рамках проверки выпуска.

Результаты оценки

Во всех областях тестирования безопасности мы увидели значительные улучшения в категориях детской безопасности, безопасности контента и репрезентативного вреда по сравнению с предыдущими моделями Gemma. Все испытания проводились без фильтров безопасности для оценки возможностей и поведения модели. Как для преобразования текста в текст, так и для преобразования изображения в текст, а также для моделей всех размеров модель выявила минимальные нарушения политики и продемонстрировала значительные улучшения по сравнению с предыдущими моделями Gemma в отношении необоснованных выводов. Ограничением наших оценок было то, что они включали только подсказки на английском языке.

Использование и ограничения

Эти модели имеют определенные ограничения, о которых следует знать пользователям.

Предполагаемое использование

Модели открытого языка видения (VLM) имеют широкий спектр приложений в различных отраслях и областях. Следующий список потенциальных применений не является исчерпывающим. Цель этого списка — предоставить контекстную информацию о возможных вариантах использования, которые создатели модели рассматривали как часть обучения и разработки модели.

• Создание контента и коммуникация
  • Генерация текста. Эти модели можно использовать для создания творческих текстовых форматов, таких как стихи, сценарии, код, маркетинговые тексты и черновики электронных писем.
  • Чат-боты и диалоговый искусственный интеллект: эффективные диалоговые интерфейсы для обслуживания клиентов, виртуальных помощников или интерактивных приложений.
  • Обобщение текста: создавайте краткие изложения текстового корпуса, исследовательских работ или отчетов.
  • Извлечение данных изображения. Эти модели можно использовать для извлечения, интерпретации и обобщения визуальных данных для текстовых коммуникаций.
• Исследования и образование
  • Обработка естественного языка (NLP) и исследования VLM. Эти модели могут служить для исследователей основой для экспериментов с методами VLM и NLP, разработки алгоритмов и внесения вклада в развитие этой области.
  • Инструменты изучения языка: поддержка интерактивного изучения языка, помощь в исправлении грамматики или предоставление практики письма.
  • Исследование знаний. Помогите исследователям изучить большие объемы текста, создавая резюме или отвечая на вопросы по конкретным темам.

Ограничения

• Данные обучения
  • Качество и разнообразие обучающих данных существенно влияют на возможности модели. Погрешности или пробелы в обучающих данных могут привести к ограничениям ответов модели.
  • Объем набора обучающих данных определяет предметные области, с которыми модель может эффективно работать.
• Контекст и сложность задачи
  • Модели лучше справляются с задачами, которые можно сформулировать с помощью четких подсказок и инструкций. Открытые или очень сложные задачи могут оказаться сложными.
  • На производительность модели может влиять количество предоставленного контекста (более длинный контекст обычно приводит к лучшим результатам до определенного момента).
• Языковая двусмысленность и нюансы
  • Естественный язык по своей сути сложен. Моделям может быть сложно уловить тонкие нюансы, сарказм или образный язык.
• Фактическая точность
  • Модели генерируют ответы на основе информации, полученной из наборов обучающих данных, но они не являются базами знаний. Они могут генерировать неправильные или устаревшие фактические утверждения.
• Здравый смысл
  • Модели полагаются на статистические закономерности в языке. Им может не хватать способности применять здравый смысл в определенных ситуациях.

Этические соображения и риски

Разработка моделей языка видения (VLM) вызывает ряд этических проблем. При создании открытой модели мы тщательно учли следующее:

• Предвзятость и справедливость
  • VLM, обученные на крупномасштабных реальных текстовых и графических данных, могут отражать социокультурные предубеждения, заложенные в учебные материалы. Эти модели подверглись тщательному изучению, описана предварительная обработка входных данных и апостериорные оценки, представленные на этой карте.
• Дезинформация и неправильное использование
  • VLM могут быть использованы не по назначению для создания ложного, вводящего в заблуждение или вредного текста.
  • Предоставляются рекомендации по ответственному использованию модели, см. набор инструментов Responsible Generative AI Toolkit .
• Прозрачность и подотчетность:
  • В этой карточке модели обобщаются подробности об архитектуре моделей, возможностях, ограничениях и процессах оценки.
  • Ответственно разработанная открытая модель дает возможность делиться инновациями, делая технологию VLM доступной для разработчиков и исследователей в экосистеме искусственного интеллекта.

Выявленные риски и меры по их снижению:

• Сохранение предвзятости . Рекомендуется осуществлять непрерывный мониторинг (с использованием показателей оценки, человеческого анализа) и исследование методов устранения предвзятости во время обучения модели, точной настройки и других вариантов использования.
• Создание вредного контента . Механизмы и рекомендации по обеспечению безопасности контента имеют важное значение. Разработчикам рекомендуется проявлять осторожность и внедрять соответствующие меры безопасности контента, основанные на их конкретной политике в отношении продуктов и сценариях использования приложений.
• Неправомерное использование в злонамеренных целях . Технические ограничения, а также обучение разработчиков и конечных пользователей могут помочь защититься от вредоносных приложений VLM. Предоставляются образовательные ресурсы и механизмы отчетности, позволяющие пользователям сообщать о неправомерном использовании. Запрещенное использование моделей Gemma изложено в Политике запрещенного использования Gemma .
• Нарушения конфиденциальности : модели обучались на данных, отфильтрованных для удаления определенной личной информации и других конфиденциальных данных. Разработчикам рекомендуется соблюдать правила конфиденциальности и использовать методы сохранения конфиденциальности.

Преимущества

На момент выпуска это семейство моделей предоставляет высокопроизводительные реализации моделей на открытом языке, разработанные с нуля для ответственной разработки ИИ по сравнению с моделями аналогичного размера.

Используя эталонные показатели оценки, описанные в этом документе, эти модели показали, что они обеспечивают более высокую производительность по сравнению с другими альтернативами открытой модели сопоставимого размера.