Запускайте LLM-модули на устройстве с помощью LiteRT-LM.
Готовая к использованию в производственной среде платформа для выполнения инференции с открытым исходным кодом, разработанная для обеспечения высокопроизводительного кроссплатформенного развертывания LLM на периферийных устройствах.
Почему именно LiteRT-LM?
Кросс-платформенный
Внедряйте LLM-приложения на платформах Android, iOS, Web и Desktop.
Аппаратное ускорение
Максимальная производительность достигается за счет ускорения с помощью графического и нейронного процессоров.
Широкие возможности GenAI
Поддержка популярных LLM-модулей, а также мультимодальности (зрение, звук) и использования инструментов.
Поддерживаемые модели
Запускайте новейшие открытые модели, оптимизированные для периферийных устройств, включая Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 и другие.
Присоединяйтесь к сообществу
GitHub
Вносите свой вклад в исходный код, сообщайте о проблемах и смотрите примеры.
Обнимающее лицо
Скачайте предварительно преобразованные модели и присоединяйтесь к обсуждению.