Эффективное преобразование, выполнение и оптимизация для машинного обучения на устройстве.
LiteRT — это не просто новая технология; это следующее поколение самой распространенной в мире среды выполнения машинного обучения. Она обеспечивает работу приложений, которыми вы пользуетесь каждый день, гарантируя низкую задержку и высокую конфиденциальность на миллиардах устройств. LiteRT — это не просто новая технология; это следующее поколение самой распространенной в мире среды выполнения машинного обучения.

Ему доверяют самые важные приложения Google.

Более 100 000 приложений, миллиарды пользователей по всему миру.

Основные моменты LiteRT

Развертывание через LiteRT

Оптимизируйте рабочий процесс глубокого обучения, от обучения до развертывания на устройстве.
Используйте предварительно обученные модели в формате .tflite или преобразуйте модели PyTorch, JAX или TensorFlow в формат .tflite.
Узнайте о конверсии
Используйте инструментарий оптимизации LiteRT для квантизации ваших моделей после обучения.
Изучите возможности оптимизации.
Разверните свою модель с помощью LiteRT и выберите оптимальный акселератор для вашего приложения.
Просмотреть цели развертывания

Выберите свой путь развития

Используйте LiteRT для развертывания ИИ где угодно — от высокопроизводительных мобильных приложений до устройств IoT с ограниченными ресурсами.
Переход на LiteRT позволит использовать преимущества повышенной производительности и унифицированных API на разных платформах (Android, Desktop, Web).
У меня есть модель на PyTorch, и я хочу реализовать в ней визуальное или звуковое сопровождение непосредственно на устройстве.
Создание сложных чат-ботов для устройств с использованием оптимизированных моделей GenAI с открытым исходным кодом, таких как Gemma или другая подобная модель.
Создание пользовательских моделей или выполнение глубокой оптимизации ЦП/ГП/НПУ для достижения максимальной производительности с учетом специфики оборудования.

Образцы, модели и демонстрационные материалы

Полные, комплексные примеры приложений.
См. пример приложения
Предварительно обученные, готовые к использованию модели искусственного интеллекта.
Перейдите на HuggingFace
Галерея, демонстрирующая примеры использования машинного обучения/генерированного искусственного интеллекта на устройствах с помощью LiteRT.
Откройте Play Store

Блоги и объявления

Будьте в курсе последних анонсов, технических обзоров и результатов тестов производительности от команды LiteRT.
Посмотрите другие блоги
Единая платформа машинного обучения Google для устройств, разработанная на основе TFLite и предназначенная для высокопроизводительного развертывания.
Расширение поддержки ускорения NPU для чипсетов MediaTek для высокоэффективного искусственного интеллекта.
Раскрытие прорывных возможностей генеративного ИИ на нейронных процессорах Qualcomm.
Представляем API CompiledModel для автоматического выбора оборудования и асинхронного выполнения.
Развертывайте языковые модели на носимых устройствах и браузерных платформах с помощью LiteRT-LM.
Последние данные о RAG, мультимодальности и вызове функций для языковых моделей на периферии сети.

Присоединяйтесь к сообществу

Вносите непосредственный вклад в проект и сотрудничайте с основными разработчиками.
Получите доступ к оптимизированным моделям с открытым весом на платформе Hugging Face Hub.
Готовы вывести ваше машинное обучение на устройстве на новый уровень? Изучите документацию и начните разработку уже сегодня.
Изучите документацию