Карточка модели PaliGemma 2

Страница модели: ПалиДжемма

Ресурсы и техническая документация:

• ПалиДжемма 2 на Kaggle
• Инструментарий ответственного генеративного искусственного интеллекта

Условия использования: Условия

Авторы: Google

Информация о модели

Краткое описание модели

PaliGemma 2 — это обновление модели языка видения PaliGemma (VLM), которое включает в себя возможности моделей Gemma 2 . Семейство моделей PaliGemma вдохновлено PaLI-3 и основано на открытых компонентах, таких как модель видения SigLIP и языковые модели Gemma 2 . Он принимает изображение и текст в качестве входных данных и генерирует текст в качестве выходных данных, поддерживая несколько языков. Он предназначен для лучшей в своем классе точной настройки производительности при решении широкого спектра задач, связанных с визуальным языком, таких как создание изображений и коротких титров к видео, визуальный ответ на вопросы, чтение текста, обнаружение объектов и сегментация объектов.

Модельная архитектура

PaliGemma 2 представляет собой композицию декодера Transformer и кодера изображения Vision Transformer . Текстовый декодер инициализируется из Gemma 2 с размерами параметров 2B, 9B и 27B. Кодер изображения инициализируется из SigLIP-So400m/14 . Подобно оригинальной модели PaliGemma, PaliGemma 2 обучается по рецептам PaLI-3 .

Входы и выходы

• Входные данные: изображение и текстовая строка, например приглашение к подписи к изображению или вопрос.
• Выходные данные: сгенерированный текст в ответ на ввод, например заголовок изображения, ответ на вопрос, список координат ограничивающей рамки объекта или кодовые слова сегментации.

Цитирование

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Данные модели

Наборы данных перед поездкой

PaliGemma 2 предварительно обучена на следующей смеси наборов данных:

• WebLI: WebLI (изображение на веб-языке) — это многоязычный набор изображений и текста в веб-масштабе, созданный из общедоступной сети. Широкий спектр разделений WebLI используется для приобретения универсальных возможностей модели, таких как визуальное семантическое понимание, локализация объектов, визуальное понимание текста и многоязычность.
• CC3M-35L: тщательно подобранные пары изображение-альт_текст на английском языке с веб-страниц ( Шарма и др., 2018 ). Мы использовали Google Cloud Translation API для перевода на 34 дополнительных языка.
• VQ²A-CC3M-35L/VQG-CC3M-35L: подмножество VQ2A-CC3M ( Changpinyo et al., 2022a ), переведенное на те же дополнительные 34 языка, что и CC3M-35L, с использованием Google Cloud Translation API .
• OpenImages: вопросы и ответы по обнаружению и объектно-ориентированному подходу ( Пьерджованни и др., 2022 ), созданные с помощью вручную созданных правил в наборе данных OpenImages .
• WIT: изображения и тексты, собранные из Википедии ( Srinivasan et al., 2021 ).

PaliGemma 2 основана на Gemma 2, и вы можете найти информацию о наборах данных предварительного обучения для Gemma 2 в карточке модели Gemma 2 .

Фильтрация ответственности за данные

Следующие фильтры применяются к WebLI с целью обучения PaliGemma 2 использованию безопасных и ответственных данных:

• Фильтрация порнографических изображений. Этот фильтр удаляет изображения, которые считаются порнографическими.
• Фильтрация безопасности текста: мы выявляем и отфильтровываем изображения, связанные с небезопасным текстом. Небезопасным текстом считается любой текст, который содержит изображения сексуального насилия над детьми (CSAI), порнографию, пошлость или иным образом оскорбляет их.
• Фильтрация токсичности текста: мы также используем Perspective API для выявления и фильтрации изображений, которые сочетаются с текстом, который считается оскорбительным, непристойным, ненавистническим или иным образом токсичным.
• Фильтрация текстовой личной информации. Мы отфильтровали определенную личную информацию и другие конфиденциальные данные с помощью API Cloud Data Loss Prevention (DLP) для защиты конфиденциальности отдельных лиц. Идентификаторы, такие как номера социального страхования и другие типы конфиденциальной информации, были удалены.
• Дополнительные методы: фильтрация на основе качества и безопасности контента в соответствии с нашими политиками и практиками.

Информация о реализации

Аппаратное обеспечение

PaliGemma 2 обучалась с использованием оборудования тензорного процессора (TPU) последнего поколения (TPUv5e).

Программное обеспечение

Обучение проходило с использованием JAX , Flax , TFDS и big_vision .

JAX позволяет исследователям использовать преимущества оборудования последнего поколения, включая TPU, для более быстрого и эффективного обучения больших моделей.

TFDS используется для доступа к наборам данных, а Flax — для архитектуры модели. Код тонкой настройки и код вывода PaliGemma 2 опубликованы в репозитории big_vision GitHub.

Информация об оценке

Результаты тестов

Чтобы проверить возможность переноса PaliGemma 2 на широкий спектр академических задач, мы настраиваем предварительно обученные модели для каждой задачи. Мы сообщаем о результатах для разных разрешений, чтобы получить представление о том, какие задачи выигрывают от увеличения разрешения. Важно отметить, что ни одна из этих задач или наборов данных не является частью смеси данных для предварительного обучения, и их изображения явно удаляются из данных предварительного обучения в веб-масштабе.

Результаты PaliGemma 2 по разрешению и размеру модели

Дополнительные тесты

ИКДАР 2015 Случайно

Всего текста

ФинТабНет

ПабТабНет

Грандстафф

ПабХим

• ПалиДжемма 2 3Б, Полный матч: 94,8

ДОККИ

• avg#char : Среднее количество символов.
• avg#sent : Среднее количество предложений.
• NES : приговоры, не влекущие за собой наказания

МИМИЧЕСКИЙ-CXR

Визуальное пространственное мышление

Этика и безопасность

Подход к оценке

Наши методы оценки включают структурированные оценки этики и безопасности в рамках соответствующих политик в отношении контента, в том числе:

• Человеческая оценка подсказок, касающихся безопасности детей, безопасности контента и репрезентативного вреда. См. карточку модели Gemma для получения более подробной информации о подходе к оценке, но с подписями к изображениям и настройками визуальных ответов на вопросы.
• Сравнительная оценка преобразования изображения в текст: сравнение с соответствующими наборами академических данных, такими как набор данных FairFace ( Karkkainen et al., 2021 ).

Результаты оценки

• Результаты человеческой оценки этики и безопасности находятся в пределах приемлемых порогов для соответствия внутренней политике по таким категориям, как безопасность детей, безопасность контента и репрезентативный вред.
• Помимо надежных внутренних оценок, мы также используем Perspective API (порог 0,8) для измерения токсичности, ненормативной лексики и других потенциальных проблем в генерируемых подписях к изображениям, полученным из набора данных FairFace. Мы сообщаем о максимальных и медианных значениях, наблюдаемых в подгруппах для каждого из воспринимаемых признаков пола, этнической принадлежности и возраста.

Использование и ограничения

Использование по назначению

Языковые модели Open Vision (VLM) имеют широкий спектр приложений в различных отраслях и областях. Следующий список потенциальных применений не является исчерпывающим. Цель этого списка — предоставить контекстную информацию о возможных вариантах использования, которые создатели модели рассматривали как часть обучения и разработки модели. Запрещенное использование моделей Gemma изложено в Политике запрещенного использования Gemma .

Точная настройка на конкретную задачу визуального языка:

• Предварительно обученные модели можно точно настроить для выполнения широкого спектра задач визуального языка, таких как: субтитры к изображениям, короткие субтитры к видео, визуальные ответы на вопросы, чтение текста, обнаружение объектов и сегментация объектов.
• Предварительно обученные модели можно точно настроить для конкретных областей, таких как ответы на вопросы дистанционного зондирования, визуальные вопросы от слепых людей, ответы на научные вопросы, описание функций элементов пользовательского интерфейса.
• Предварительно обученные модели можно точно настроить для задач с нетекстовыми выходными данными, такими как ограничивающие рамки или маски сегментации.

Исследование языка видения:

• Предварительно обученные и точно настроенные модели могут послужить исследователям основой для экспериментов с методами VLM, разработки алгоритмов и внесения вклада в развитие этой области.

Этические соображения и риски

Разработка моделей языка видения (VLM) вызывает ряд этических проблем. При создании открытой модели мы тщательно учли следующее:

• Предвзятость и справедливость
  • VLM, обученные на крупномасштабных реальных изображениях и текстовых данных, могут отражать социокультурные предубеждения, заложенные в учебные материалы. Эти модели подверглись тщательному изучению, описана предварительная обработка входных данных и апостериорные оценки, представленные на этой карте.
• Дезинформация и неправильное использование
  • VLM могут быть использованы не по назначению для создания ложного, вводящего в заблуждение или вредного текста.
  • Предоставляются рекомендации по ответственному использованию модели, см. набор инструментов Responsible Generative AI Toolkit .
• Прозрачность и подотчетность
  • В этой карточке модели обобщаются подробности об архитектуре моделей, возможностях, ограничениях и процессах оценки.
  • Ответственно разработанная открытая модель дает возможность делиться инновациями, делая технологию VLM доступной для разработчиков и исследователей в экосистеме искусственного интеллекта.

Выявленные риски и меры по их снижению:

• Сохранение предвзятостей: рекомендуется осуществлять непрерывный мониторинг (с использованием показателей оценки, человеческого анализа) и исследование методов устранения предвзятости во время обучения модели, точной настройки и других вариантов использования.
• Создание вредного контента. Механизмы и рекомендации по обеспечению безопасности контента имеют важное значение. Разработчикам рекомендуется проявлять осторожность и внедрять соответствующие меры безопасности контента, основанные на их конкретной политике в отношении продуктов и сценариях использования приложений.
• Неправомерное использование в злонамеренных целях. Технические ограничения, а также обучение разработчиков и конечных пользователей могут помочь предотвратить вредоносное применение LLM. Предоставляются образовательные ресурсы и механизмы отчетности, позволяющие пользователям сообщать о неправомерном использовании: см. набор инструментов ответственного генеративного искусственного интеллекта . Запрещенное использование моделей Gemma изложено в Политике запрещенного использования Gemma .
• Нарушения конфиденциальности: модели обучались на данных, отфильтрованных для удаления определенной личной информации и конфиденциальных данных. Разработчикам рекомендуется соблюдать правила конфиденциальности и использовать методы сохранения конфиденциальности.

Ограничения

• Большинство ограничений, унаследованных от базовых моделей Gemma 2, по-прежнему применяются:
  • VLM лучше справляются с задачами, которые можно сформулировать с помощью четких подсказок и инструкций. Открытые или очень сложные задачи могут оказаться сложными.
  • Естественный язык по своей сути сложен. VLM могут с трудом уловить тонкие нюансы, сарказм или образный язык.
  • VLM генерируют ответы на основе информации, полученной из наборов обучающих данных, но они не являются базами знаний. Они могут генерировать неправильные или устаревшие фактические утверждения.
  • VLM полагаются на статистические закономерности в языке и изображениях. Им может не хватать способности применять здравый смысл в определенных ситуациях.
• PaliGemma 2 была разработана в первую очередь как общая предварительно обученная модель для точной настройки под специализированные задачи. Следовательно, его производительность «из коробки» или «нулевой выстрел» может отставать от моделей, разработанных специально для общего использования.
• PaliGemma 2 — не многоходовой чат-бот. Он предназначен для одного раунда ввода изображений и текста.

Страница модели: ПалиДжемма

Ресурсы и техническая документация:

• ПалиДжемма 2 на Kaggle
• Инструментарий ответственного генеративного искусственного интеллекта

Условия использования: Условия

Авторы: Google

Информация о модели

Краткое описание модели

PaliGemma 2 — это обновление модели языка видения PaliGemma (VLM), которое включает в себя возможности моделей Gemma 2 . Семейство моделей PaliGemma вдохновлено PaLI-3 и основано на открытых компонентах, таких как модель видения SigLIP и языковые модели Gemma 2 . Он принимает изображение и текст в качестве входных данных и генерирует текст в качестве выходных данных, поддерживая несколько языков. Он предназначен для лучшей в своем классе точной настройки производительности при решении широкого спектра задач, связанных с визуальным языком, таких как создание изображений и коротких титров к видео, визуальный ответ на вопросы, чтение текста, обнаружение объектов и сегментация объектов.

Модельная архитектура

PaliGemma 2 представляет собой композицию декодера Transformer и кодера изображения Vision Transformer . Текстовый декодер инициализируется из Gemma 2 с размерами параметров 2B, 9B и 27B. Кодер изображения инициализируется из SigLIP-So400m/14 . Подобно оригинальной модели PaliGemma, PaliGemma 2 обучается по рецептам PaLI-3 .

Входы и выходы

• Входные данные: изображение и текстовая строка, например приглашение к подписи к изображению или вопрос.
• Выходные данные: сгенерированный текст в ответ на ввод, например заголовок изображения, ответ на вопрос, список координат ограничивающей рамки объекта или кодовые слова сегментации.

Цитирование

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

Данные модели

Наборы данных перед поездкой

PaliGemma 2 предварительно обучен на следующей смеси наборов данных:

• WebLI: WebLI (изображение на веб-языке) — это многоязычный набор изображений и текста в веб-масштабе, созданный из общедоступной сети. Широкий спектр разделений WebLI используется для приобретения универсальных возможностей модели, таких как визуальное семантическое понимание, локализация объектов, визуальное понимание текста и многоязычность.
• CC3M-35L: тщательно подобранные пары «изображение-альтернативный_текст» на английском языке с веб-страниц ( Шарма и др., 2018 ). Мы использовали Google Cloud Translation API для перевода на 34 дополнительных языка.
• VQ²A-CC3M-35L/VQG-CC3M-35L: подмножество VQ2A-CC3M ( Changpinyo et al., 2022a ), переведенное на те же дополнительные 34 языка, что и CC3M-35L, с использованием Google Cloud Translation API .
• OpenImages: вопросы и ответы по обнаружению и объектно-ориентированному подходу ( Пьерджованни и др., 2022 ), созданные с помощью вручную созданных правил в наборе данных OpenImages .
• WIT: изображения и тексты, собранные из Википедии ( Srinivasan et al., 2021 ).

PaliGemma 2 основана на Gemma 2, и вы можете найти информацию о наборах данных для предварительного обучения для Gemma 2 в карточке модели Gemma 2 .

Фильтрация ответственности за данные

Следующие фильтры применяются к WebLI с целью обучения PaliGemma 2 использованию безопасных и ответственных данных:

• Фильтрация порнографических изображений. Этот фильтр удаляет изображения, которые считаются порнографическими.
• Фильтрация безопасности текста: мы выявляем и отфильтровываем изображения, связанные с небезопасным текстом. Небезопасным текстом считается любой текст, который содержит изображения сексуального насилия над детьми (CSAI), порнографию, пошлость или иным образом оскорбляет их.
• Фильтрация токсичности текста: мы также используем Perspective API для выявления и фильтрации изображений, которые сочетаются с текстом, который считается оскорбительным, непристойным, ненавистническим или иным образом токсичным.
• Фильтрация текстовой личной информации. Мы отфильтровали определенную личную информацию и другие конфиденциальные данные с помощью API Cloud Data Loss Prevention (DLP) для защиты конфиденциальности отдельных лиц. Идентификаторы, такие как номера социального страхования и другие типы конфиденциальной информации, были удалены.
• Дополнительные методы: фильтрация на основе качества и безопасности контента в соответствии с нашими политиками и практиками.

Информация о реализации

Аппаратное обеспечение

PaliGemma 2 обучалась с использованием оборудования тензорного процессора (TPU) последнего поколения (TPUv5e).

Программное обеспечение

Обучение проходило с использованием JAX , Flax , TFDS и big_vision .

JAX позволяет исследователям использовать преимущества оборудования последнего поколения, включая TPU, для более быстрого и эффективного обучения больших моделей.

TFDS используется для доступа к наборам данных, а Flax — для архитектуры модели. Код тонкой настройки и код вывода PaliGemma 2 опубликованы в репозитории big_vision GitHub.

Информация об оценке

Результаты тестов

Чтобы проверить возможность переноса PaliGemma 2 на широкий спектр академических задач, мы настраиваем предварительно обученные модели для каждой задачи. Мы сообщаем о результатах для разных разрешений, чтобы получить представление о том, какие задачи выигрывают от увеличения разрешения. Важно отметить, что ни одна из этих задач или наборов данных не является частью смеси данных для предварительного обучения, и их изображения явно удаляются из данных предварительного обучения в веб-масштабе.

Результаты PaliGemma 2 по разрешению и размеру модели

Дополнительные тесты

ИКДАР 2015 Случайно

Всего текста

ФинТабНет

ПабТабНет

Грандстафф

ПабХим

• ПалиДжемма 2 3Б, Полный матч: 94,8

ДОККИ

• avg#char : Среднее количество символов.
• avg#sent : Среднее количество предложений.
• NES : приговоры, не влекущие за собой наказания

МИМИЧЕСКИЙ-CXR

Визуальное пространственное мышление

Этика и безопасность

Подход к оценке

Наши методы оценки включают структурированные оценки этики и безопасности в рамках соответствующих политик в отношении контента, в том числе:

• Человеческая оценка подсказок, касающихся безопасности детей, безопасности контента и репрезентативного вреда. См. карточку модели Gemma для получения более подробной информации о подходе к оценке, но с подписями к изображениям и настройками визуальных ответов на вопросы.
• Сравнительная оценка преобразования изображения в текст: сравнение с соответствующими наборами академических данных, такими как набор данных FairFace ( Karkkainen et al., 2021 ).

Результаты оценки

• Результаты человеческой оценки этики и безопасности находятся в пределах приемлемых порогов для соответствия внутренней политике по таким категориям, как безопасность детей, безопасность контента и репрезентативный вред.
• Помимо надежных внутренних оценок, мы также используем Perspective API (порог 0,8) для измерения токсичности, ненормативной лексики и других потенциальных проблем в генерируемых подписях к изображениям, полученным из набора данных FairFace. Мы сообщаем о максимальных и медианных значениях, наблюдаемых в подгруппах для каждого из воспринимаемых признаков пола, этнической принадлежности и возраста.

Использование и ограничения

Использование по назначению

Языковые модели Open Vision (VLM) имеют широкий спектр приложений в различных отраслях и областях. Следующий список потенциальных применений не является исчерпывающим. Цель этого списка — предоставить контекстную информацию о возможных вариантах использования, которые создатели модели рассматривали как часть обучения и разработки модели. Запрещенное использование моделей Gemma изложено в Политике запрещенного использования Gemma .

Точная настройка на конкретную задачу визуального языка:

• Предварительно обученные модели можно точно настроить для выполнения широкого спектра задач визуального языка, таких как: субтитры к изображениям, короткие субтитры к видео, визуальные ответы на вопросы, чтение текста, обнаружение объектов и сегментация объектов.
• Предварительно обученные модели могут быть точно настроены для конкретных областей, таких как ответы на вопросы дистанционного зондирования, визуальные вопросы от слепых людей, ответы на научные вопросы, описание функций элементов пользовательского интерфейса.
• Предварительно обученные модели можно точно настроить для задач с нетекстовыми выходными данными, такими как ограничивающие рамки или маски сегментации.

Исследование языка видения:

• Предварительно обученные и точно настроенные модели могут послужить исследователям основой для экспериментов с методами VLM, разработки алгоритмов и внесения вклада в развитие этой области.

Этические соображения и риски

Разработка моделей языка видения (VLM) вызывает ряд этических проблем. При создании открытой модели мы тщательно учли следующее:

• Предвзятость и справедливость
  • VLM, обученные на крупномасштабных реальных изображениях и текстовых данных, могут отражать социокультурные предубеждения, заложенные в учебные материалы. Эти модели подверглись тщательному изучению, описана предварительная обработка входных данных и апостериорные оценки, представленные на этой карте.
• Дезинформация и неправильное использование
  • VLM могут быть использованы не по назначению для создания ложного, вводящего в заблуждение или вредного текста.
  • Предоставляются рекомендации по ответственному использованию модели, см. набор инструментов Responsible Generative AI Toolkit .
• Прозрачность и подотчетность
  • В этой карточке модели обобщаются подробности об архитектуре моделей, возможностях, ограничениях и процессах оценки.
  • Ответственно разработанная открытая модель дает возможность делиться инновациями, делая технологию VLM доступной для разработчиков и исследователей в экосистеме искусственного интеллекта.

Выявленные риски и меры по их снижению:

• Сохранение предвзятостей: рекомендуется осуществлять непрерывный мониторинг (с использованием показателей оценки, человеческого анализа) и исследование методов устранения предвзятости во время обучения модели, точной настройки и других вариантов использования.
• Создание вредного контента. Механизмы и рекомендации по обеспечению безопасности контента имеют важное значение. Разработчикам рекомендуется проявлять осторожность и внедрять соответствующие меры безопасности контента, основанные на их конкретной политике в отношении продуктов и сценариях использования приложений.
• Неправомерное использование в злонамеренных целях. Технические ограничения, а также обучение разработчиков и конечных пользователей могут помочь предотвратить вредоносное применение LLM. Предоставляются образовательные ресурсы и механизмы отчетности, позволяющие пользователям сообщать о неправомерном использовании: см. набор инструментов ответственного генеративного искусственного интеллекта . Запрещенное использование моделей Gemma изложено в Политике запрещенного использования Gemma .
• Нарушения конфиденциальности: модели обучались на данных, отфильтрованных для удаления определенной личной информации и конфиденциальных данных. Разработчикам рекомендуется соблюдать правила конфиденциальности и использовать методы сохранения конфиденциальности.

Ограничения

• Большинство ограничений, унаследованных от базовых моделей Gemma 2, по-прежнему применяются:
  • VLM лучше справляются с задачами, которые можно сформулировать с помощью четких подсказок и инструкций. Открытые или очень сложные задачи могут оказаться сложными.
  • Естественный язык по своей сути сложен. VLM могут с трудом уловить тонкие нюансы, сарказм или образный язык.
  • VLM генерируют ответы на основе информации, полученной из наборов обучающих данных, но они не являются базами знаний. Они могут генерировать неправильные или устаревшие фактические утверждения.
  • VLM полагаются на статистические закономерности в языке и изображениях. Им может не хватать способности применять здравый смысл в определенных ситуациях.
• PaliGemma 2 была разработана в первую очередь как общая предварительно обученная модель для точной настройки под специализированные задачи. Следовательно, его производительность «из коробки» или «нулевой выстрел» может отставать от моделей, разработанных специально для общего использования.
• PaliGemma 2 — не многоходовой чат-бот. Он предназначен для одного раунда ввода изображений и текста.