Карточка модели FunctionGemma

Страница модели : FunctionGemma

Ресурсы и техническая документация :

• Инструментарий ответственного генеративного ИИ
• FunctionGemma на Kaggle
• FunctionGemma о модели сада Vertex

Условия использования : Условия
Авторы : Google DeepMind

Информация о модели

Краткое описание и определение входных и выходных данных.

Описание

ПРИМЕЧАНИЕ: FunctionGemma предназначена для тонкой настройки под конкретные задачи вызова функций, включая многоэтапные сценарии использования.

FunctionGemma — это облегчённая открытая модель от Google, созданная как основа для разработки собственных специализированных моделей вызова функций. FunctionGemma не предназначена для использования в качестве модели прямого диалога и разработана для обеспечения высокой производительности после дополнительной тонкой настройки, что типично для моделей такого размера. Созданная на основе модели Gemma 3 270M и с использованием тех же исследований и технологий, что и для создания моделей Gemini, FunctionGemma была специально обучена для вызова функций. Модель имеет ту же архитектуру, что и Gemma 3, но использует другой формат чата. Модель хорошо подходит для вызова функций только в текстовом формате. Уникально небольшой размер позволяет развертывать её в средах с ограниченными ресурсами, таких как ноутбуки, настольные компьютеры или собственная облачная инфраструктура, демократизируя доступ к передовым моделям ИИ и способствуя инновациям для всех. Кроме того, подобно базовой модели Gemma 270M, эта модель оптимизирована для обеспечения исключительной универсальности, высокой производительности на различном оборудовании в сценариях с одним циклом обработки, но для достижения наилучшей точности в конкретных областях ее следует дорабатывать на данных, специфичных для задач с одним или несколькими циклами обработки. Чтобы продемонстрировать, как специализация параметрической модели 270M может обеспечить высокую производительность в конкретных рабочих процессах агентов, мы выделили два примера использования в приложении Google AI Edge Gallery .

• Tiny Garden: модель, доработанная для обеспечения работы интерактивной игры с голосовым управлением. Она обрабатывает игровую логику для управления виртуальным участком земли, разлагая команды, такие как «Посадить подсолнухи в верхнем ряду» и «Полить цветы на участках 1 и 2», на специфические для приложения функции (например, plant_seed, water_plots) и целевые координаты. Это демонстрирует способность модели управлять пользовательскими механиками приложения без подключения к серверу.

• Мобильные действия: Чтобы дать разработчикам возможность создавать собственных экспертов-агентов, мы опубликовали набор данных и рецепт тонкой настройки , демонстрирующий тонкую настройку FunctionGemma. Он преобразует ввод пользователя (например, «Создать событие в календаре на обед», «Включить фонарик») в вызовы функций, которые запускают системные инструменты ОС Android. Этот интерактивный блокнот демонстрирует, как взять базовую модель FunctionGemma и создать с нуля модель «Мобильные действия» для использования в приложении галереи Google AI Edge . Этот пример использования демонстрирует способность модели выступать в качестве автономного, приватного агента для выполнения задач на персональном устройстве.

Входы и выходы

• Вход:
  • Текстовая строка, например, вопрос, подсказка или документ, который необходимо резюмировать.
  • Общий объем входного контекста: 32 000 токенов.
• Выход:
  • Текст, сгенерированный в ответ на входные данные, например, ответ на вопрос или краткое изложение документа.
  • Общий объем выходного контекста до 32 000 токенов на запрос, за вычетом входных токенов запроса.

Модель данных

Данные, использованные для обучения модели, и способ их обработки.

обучающий набор данных

Эти модели были обучены на наборе текстовых данных, включающем широкий спектр источников. Модель обучалась с использованием 6T токенов. Крайний срок использования обучающих данных — август 2024 года. Вот ключевые компоненты:

• Общедоступные определения инструментов — распространенные API, доступные в интернете.
• Взаимодействие при использовании инструментов — это сочетание подсказок, вызовов функций, ответов на вызовы функций и ответов на естественном языке от модели, которые суммируют ответ на вызов функции или запрашивают уточнения, когда подсказка неоднозначна или неполна.

Предварительная обработка данных

Ниже представлены основные методы очистки и фильтрации данных, примененные к обучающим данным:

• Фильтрация материалов, содержащих материалы сексуального характера, касающиеся детей (CSAM): На нескольких этапах подготовки данных применялась строгая фильтрация CSAM (материалов, содержащих материалы сексуального характера, касающиеся детей), чтобы исключить вредоносный и незаконный контент.
• Фильтрация конфиденциальных данных: Для обеспечения безопасности и надежности предварительно обученных моделей Gemma использовались автоматизированные методы для фильтрации определенной личной информации и других конфиденциальных данных из обучающих наборов.
• Дополнительные методы: Фильтрация на основе качества и безопасности контента в соответствии с нашей политикой .

Информация о реализации

Подробная информация о внутреннем устройстве модели.

Аппаратное обеспечение

Обучение модели Gemma проводилось с использованием аппаратных тензорных процессоров (TPU) (TPUv4p, TPUv5p и TPUv5e). Обучение моделей обработки изображений и языка (VLM) требует значительной вычислительной мощности. TPU, разработанные специально для матричных операций, распространенных в машинном обучении, предлагают ряд преимуществ в этой области:

• Производительность: TPU специально разработаны для обработки больших объемов вычислений, необходимых для обучения виртуальных моделей поведения (VLM). Они могут значительно ускорить обучение по сравнению с центральными процессорами (CPU).
• Память: TPU часто оснащены большими объемами высокоскоростной памяти, что позволяет обрабатывать большие модели и пакеты данных во время обучения. Это может привести к повышению качества моделей.
• Масштабируемость: TPU Pods (большие кластеры TPU) обеспечивают масштабируемое решение для обработки растущей сложности больших базовых моделей. Вы можете распределять обучение между несколькими устройствами TPU для более быстрой и эффективной обработки.
• Экономическая эффективность: Во многих сценариях TPU могут обеспечить более экономичное решение для обучения больших моделей по сравнению с инфраструктурой на базе ЦП, особенно если учитывать экономию времени и ресурсов благодаря более быстрому обучению.
• Эти преимущества соответствуют обязательствам Google по обеспечению устойчивого развития .

Программное обеспечение

Обучение проводилось с использованием JAX и ML Pathways . JAX позволяет исследователям использовать преимущества новейшего поколения оборудования, включая TPU, для более быстрого и эффективного обучения больших моделей. ML Pathways — это новейшая разработка Google по созданию систем искусственного интеллекта, способных к обобщению в различных задачах. Это особенно подходит для базовых моделей, включая большие языковые модели, подобные этим.
JAX и ML Pathways используются совместно, как описано в статье о семействе моделей Gemini ; «модель программирования „единого контроллера“ в Jax и Pathways позволяет одному процессу Python управлять всем процессом обучения, что значительно упрощает рабочий процесс разработки».

Оценка

Показатели и результаты оценки модели.

Результаты сравнительных тестов

Влияние на производительность после тонкой настройки на наборе данных Mobile Actions
Чтобы продемонстрировать ценность специализации для небольших языковых моделей, мы сравнили базовую модель FunctionGemma с доработанной моделью, используя рецепт "Мобильные действия". Доработка значительно улучшила способность базовой модели FunctionGemma правильно идентифицировать и форматировать вызовы мобильных систем.

Производительность Gemma 270m на устройстве: оптимизированные сценарии использования
Мы оценили оптимизированные сценарии использования на Samsung S25 Ultra, чтобы определить задержку на устройстве и объем используемой памяти.

• Контекст: 512 предварительно заполненных токенов и 32 токена для декодирования.
• Аппаратное обеспечение: процессор S25 Ultra, использующий делегат LiteRT XNNPACK с 4 потоками.

Производительность мобильных действий на устройстве

Производительность мини-сада на устройстве

Этика и безопасность

Подход к оценке этических норм и безопасности, а также полученные результаты.

Подход к оценке

Наши методы оценки включают структурированные оценки и внутреннее тестирование соответствующих политик в отношении контента методом «красной команды». Тестирование методом «красной команды» проводилось несколькими различными группами, каждая из которых преследовала разные цели и использовала разные критерии оценки. Эти модели оценивались по ряду различных категорий, имеющих отношение к этике и безопасности, включая:

• Безопасность детей : Оценка текстовых и графических подсказок, содержащих информацию о политике безопасности детей, включая случаи сексуального насилия и эксплуатации детей.
• Безопасность контента: Оценка текстовых и графических подсказок, охватывающих политику безопасности, включая вопросы, связанные с домогательствами, насилием и жестокостью, а также разжиганием ненависти.
• Вред, связанный с искажением изображений: Оценка текстовых и графических подсказок, касающихся правил безопасности, включая предвзятость, стереотипы, вредные ассоциации или неточности.

Результаты оценки

Во всех областях тестирования безопасности мы наблюдали значительные улучшения в категориях безопасности детей, безопасности контента и вреда, связанного с представлением информации, по сравнению с предыдущими моделями Gemma. Все тестирование проводилось без фильтров безопасности для оценки возможностей и поведения модели. Модель показала минимальное количество нарушений правил и продемонстрировала значительные улучшения по сравнению с предыдущими моделями Gemma в отношении необоснованных выводов. Ограничением наших оценок было то, что они включали только подсказки на английском языке.

Использование и ограничения

Эти модели имеют определенные ограничения, о которых пользователям следует знать.

Назначение

Данная модель не предназначена для использования в качестве модели для прямого диалога.
Открытые большие языковые модели (LLM) имеют широкий спектр применения в различных отраслях и областях. Приведенный ниже список потенциальных применений не является исчерпывающим. Цель этого списка — предоставить контекстную информацию о возможных вариантах использования, которые создатели моделей рассматривали в процессе обучения и разработки моделей.

• Создание и распространение контента
  • Генерация текста: Эти модели можно использовать для создания креативных текстовых форматов, таких как стихи, сценарии, код, маркетинговые тексты и черновики электронных писем.
  • Чат-боты и разговорный ИИ: обеспечивают работу разговорных интерфейсов для обслуживания клиентов, виртуальных помощников или интерактивных приложений.
  • Создание кратких резюме текста: генерация лаконичных резюме текстовых корпусов, научных работ или отчетов.
• Исследования и образование
  • Исследования в области обработки естественного языка (NLP): Эти модели могут служить основой для экспериментов исследователей с методами NLP, разработки алгоритмов и внесения вклада в развитие этой области.
  • Инструменты для изучения языка: поддерживают интерактивный процесс изучения языка, помогают в исправлении грамматических ошибок или предоставляют возможности для практики письма.
  • Исследование знаний: Оказание помощи исследователям в изучении больших объемов текста путем составления резюме или ответа на вопросы по конкретным темам.

Ограничения

• обучающие данные
  • Качество и разнообразие обучающих данных существенно влияют на возможности модели. Предвзятость или пробелы в обучающих данных могут привести к ограничениям в результатах работы модели.
  • Объем обучающего набора данных определяет предметные области, которые модель может эффективно обрабатывать.
• Контекст и сложность задачи
  • Модели лучше справляются с задачами, которые можно сформулировать с помощью четких подсказок и инструкций. Задачи с открытым концом или очень сложные задачи могут представлять собой серьезную проблему.
  • На производительность модели может влиять объем предоставленного контекста (более длинный контекст, как правило, приводит к лучшим результатам, до определенного момента).
• Языковая неоднозначность и нюансы
  • Естественный язык по своей природе сложен. Модели могут испытывать трудности с пониманием тонких нюансов, сарказма или образных выражений.
• Фактическая точность
  • Модели генерируют ответы на основе информации, полученной из обучающих наборов данных, но они не являются базами знаний. Они могут выдавать неверные или устаревшие фактические утверждения.
• Здравый смысл
  • Модели опираются на статистические закономерности в языке. В некоторых ситуациях им может не хватать способности применять здравый смысл.

Этические соображения и риски

Разработка больших языковых моделей (БЛМ) вызывает ряд этических проблем. При создании открытой модели мы тщательно учли следующие моменты:

• Предвзятость и справедливость
  • Модели LLM, обученные на больших объемах реальных текстовых данных, могут отражать социокультурные предубеждения, заложенные в обучающем материале. Эти модели подверглись тщательному анализу, предварительная обработка входных данных описана, а результаты последующей оценки представлены в этой карточке.
• Дезинформация и злоупотребление
  • LLM-ы могут быть использованы не по назначению для создания текста, который является ложным, вводящим в заблуждение или вредным.
  • Рекомендации по ответственному использованию модели приведены в руководстве «Responsible Generative AI Toolkit» .
• Прозрачность и подотчетность:
  • Данная карточка модели содержит подробную информацию об архитектуре, возможностях, ограничениях и процессах оценки моделей.
  • Ответственно разработанная открытая модель предоставляет возможность делиться инновациями, делая технологии LLM доступными для разработчиков и исследователей во всей экосистеме искусственного интеллекта.

Выявленные риски и меры по их смягчению:

• Увековечивание предвзятости: Рекомендуется проводить непрерывный мониторинг (с использованием оценочных метрик, экспертной оценки) и изучать методы устранения предвзятости во время обучения модели, тонкой настройки и других сценариев использования.
• Создание вредоносного контента: механизмы и рекомендации по обеспечению безопасности контента имеют важное значение. Разработчикам рекомендуется проявлять осторожность и внедрять соответствующие меры защиты контента в соответствии с политикой конкретного продукта и сценариями его использования.
• Злоупотребление в злонамеренных целях: технические ограничения, а также обучение разработчиков и конечных пользователей могут помочь предотвратить злонамеренное использование моделей LLM. Предоставляются образовательные ресурсы и механизмы сообщения о злоупотреблениях. Запрещенные способы использования моделей Gemma изложены в Политике запрещенного использования Gemma .
• Нарушения конфиденциальности: Модели обучались на данных, отфильтрованных для удаления персональных данных. Разработчикам рекомендуется соблюдать правила конфиденциальности, используя методы, обеспечивающие защиту персональных данных.

Преимущества

На момент выпуска это семейство моделей предоставляет высокопроизводительные открытые реализации больших языковых моделей, разработанные с нуля для ответственной разработки ИИ, по сравнению с моделями аналогичного размера.