Решение AI Edge от Google Cloud для тестирования и сравнительной оценки производительности машинного обучения (ML) на устройствах в масштабе предприятия.
Оптимизация производительности моделей машинного обучения на различных мобильных устройствах может быть сложной задачей. Ручное тестирование — это медленный, дорогостоящий и зачастую недоступный для большинства разработчиков процесс, что приводит к неопределенности в отношении реальной производительности модели. Google AI Edge Portal решает эту проблему, предоставляя возможность тестирования производительности моделей LiteRT на широком спектре мобильных устройств , помогая разработчикам находить оптимальные конфигурации для крупномасштабного развертывания моделей машинного обучения.
Оптимизация развертывания мобильного машинного обучения
Упростите и ускорьте циклы тестирования на разнообразном оборудовании : легко оценивайте производительность модели на сотнях репрезентативных мобильных устройств за считанные минуты.
Заблаговременно обеспечивайте качество модели и выявляйте проблемы на ранних стадиях : точно определяйте специфические для оборудования колебания производительности или регрессии (например, на определенных чипсетах или устройствах с ограниченным объемом памяти) до развертывания.
Снижение затрат на тестирование устройств и доступ к новейшему оборудованию : тестирование на разнообразном и постоянно растущем парке физических устройств (в настоящее время более 100 моделей устройств от различных производителей Android) без затрат и сложностей, связанных с содержанием собственной лаборатории.
Получите доступ к мощным, основанным на данных решениям и бизнес-аналитике : Google AI Edge Portal предоставляет обширные данные о производительности и сравнения, обеспечивая важнейшую бизнес-аналитику, необходимую для уверенной оптимизации моделей и проверки готовности к развертыванию.
Пример теста производительности:
Как Google AI Edge Portal помогает вам проводить сравнительный анализ ваших моделей LiteRT
Выберите устройства : выберите целевые устройства из нашего обширного списка, используя специальные фильтры по оборудованию, включая поддержку NPU, категорию устройства, марку, чипсет и объем оперативной памяти. В качестве альтернативы, используйте наши специально подобранные ярлыки для мгновенного доступа к спискам популярных устройств.
Создание конфигураций : выберите один из двух ускорителей для ваших задач тестирования производительности: CPU, GPU или NPU.
Расширенная настройка : отрегулируйте аппаратные параметры выбранного ускорителя или используйте значения по умолчанию.
Поддержка NPU : Возможности аппаратного ускорения теперь включают в себя NPU, в состав которых входит более 30 устройств Qualcomm.
- Компиляция с предварительным созданием модели (AOT) : рекомендуется для обеспечения производительности на уровне производственной среды, обеспечивая значительно более быструю инициализацию и меньший объем используемой памяти. В этом режиме необходимо предоставить скомпилированные модели для каждого уникального SoC в вашем наборе устройств.
- Компиляция «на лету» (JIT) : поддерживает компиляцию для одной модели на выбранных устройствах.
Загрузка моделей : Загрузите файл модели с помощью пользовательского интерфейса или укажите ссылку на него в вашем хранилище Google Cloud Storage.
Создайте новое задание для тестирования производительности на более чем 100 устройствах. (Примечание: GIF-анимация ускорена и отредактирована для краткости)
После этого отправьте задание и дождитесь его выполнения. Когда задание будет готово, изучите результаты на интерактивной панели управления:
Сравнение конфигураций : Быстро визуализируйте, как показатели производительности (например, средняя задержка, пиковый объем памяти) различаются при использовании разных ускорителей на всех протестированных устройствах.
Анализ влияния устройства : посмотрите, как конкретная конфигурация модели работает в диапазоне выбранных устройств. Используйте гистограммы и диаграммы рассеяния, чтобы быстро выявить различия в производительности, связанные с характеристиками устройства.
Подробные метрики : Получите доступ к подробной, сортируемой таблице, отображающей конкретные метрики (время инициализации, задержка вывода, использование памяти) для каждого отдельного устройства, а также его аппаратные характеристики. Проверьте загрузку оборудования с помощью таблицы распределения ускорителей, которая показывает, как операции модели распределяются между ядрами (доступно для ЦП и ГП, поддержка НПУ появится в ближайшее время).
Результаты бенчмарка можно посмотреть на интерактивной панели управления. (Примечание: GIF-анимация ускорена и отредактирована для краткости)
Присоединяйтесь к закрытому предварительному просмотру портала Google AI Edge.
Портал Google AI Edge доступен в режиме закрытого предварительного просмотра для клиентов Google Cloud, включенных в список разрешенных пользователей. В течение этого периода закрытого предварительного просмотра доступ предоставляется бесплатно в соответствии с условиями предварительного просмотра.
Эта предварительная версия идеально подходит для разработчиков и команд, создающих мобильные приложения машинного обучения с использованием LiteRT, которым необходимы надежные данные для бенчмаркинга на различном оборудовании Android и которые готовы предоставить обратную связь, чтобы помочь сформировать будущее продукта. Чтобы запросить доступ, заполните нашу регистрационную форму здесь, чтобы выразить заинтересованность. Доступ предоставляется через список разрешенных пользователей.