Готовая к использованию в производственных условиях платформа вывода с открытым исходным кодом, разработанная для обеспечения высокопроизводительного кроссплатформенного развертывания LLM на периферийных устройствах.
Обзор Начать
Встроенная функция GenAI в Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM.
Читать далее

Почему именно LiteRT-LM?

Кросс-платформенный

Внедряйте LLM-приложения на платформах Android, iOS, Web и Desktop.
Максимальная производительность достигается за счет ускорения с помощью графического и нейронного процессоров.
Поддержка популярных LLM-модулей, а также мультимодальности (зрение, звук) и использования инструментов.

Начать строительство

API Python с аппаратным ускорением на Linux, MacOS, Windows и Raspberry Pi.
Руководство по Python
Нативные приложения для Android и настольные инструменты на основе JVM.
Руководство по Android
Интеграция с iOS и macOS с поддержкой Metal (API Swift появятся в ближайшее время).
Руководство по C++
кроссплатформенные API на C++.
Руководство по C++

Блоги и объявления

Развертывайте языковые модели на носимых устройствах и браузерных платформах с использованием LiteRT-LM в масштабе предприятия.
Узнайте, как точно настроить FunctionGemma и включить возможности вызова функций, предоставляемые API-интерфейсами LiteRT-LM Tool Use.
Последние данные о RAG, мультимодальности и вызове функций для языковых моделей на периферии сети.

Присоединяйтесь к сообществу

Внесите свой вклад в проект с открытым исходным кодом, сообщайте о проблемах и смотрите примеры.
Посмотреть на GitHub
Скачайте предварительно преобразованные модели и присоединяйтесь к обсуждению.
Вид на обнимающее лицо