Обзор LiteRT-LM

LiteRT-LM — это готовая к использованию в производственных условиях платформа для выполнения инференции с открытым исходным кодом, разработанная для обеспечения высокопроизводительного кроссплатформенного развертывания LLM на периферийных устройствах.

• Кроссплатформенная поддержка: работает на Android, iOS, в веб-браузере, на настольных компьютерах и устройствах IoT (например, Raspberry Pi).
• Аппаратное ускорение: Добейтесь максимальной производительности и стабильности системы, используя ускорители GPU и NPU на различном оборудовании.
• Мультимодальность: Создавайте модели на основе LLM, поддерживающие визуальное и звуковое восприятие.
• Использование инструмента: Поддержка вызова функций для агентных рабочих процессов с ограниченным декодированием для повышения точности.
• Широкая поддержка моделей: запуск Gemma, Llama, Phi-4, Qwen и других.

Демонстрация возможностей GenAI на устройстве

Google AI Edge Gallery — это экспериментальное приложение, разработанное для демонстрации возможностей генеративного ИИ на устройстве, работающее полностью в автономном режиме с использованием LiteRT-LM.

• Google Play : Используйте LLM-модули локально на поддерживаемых устройствах Android.
• App Store : Оцените возможности искусственного интеллекта на вашем устройстве iOS.
• Исходный код на GitHub : Просмотрите исходный код приложения галереи, чтобы узнать, как интегрировать LiteRT-LM в ваши собственные проекты.

Представленная модель: Gemma-4-E2B

• Размер модели: 2,58 ГБ

• Дополнительные технические характеристики приведены в описании модели HuggingFace.

  Платформа (Устройство)	Бэкенд	Предварительное заполнение (тк/с)	Декодирование (тк/с)	Время до получения первого токена (секунды)	Максимальное потребление памяти ЦП (МБ)
  Android (S26 Ultra)	Процессор	557	47	1.8	1733
  	GPU	3808	52	0.3	676
  iOS (iPhone 17 Pro)	Процессор	532	25	1.9	607
  	GPU	2878	56	0.3	1450
  Linux (Arm 2.3 и 2.8 ГГц, NVIDIA GeForce RTX 4090)	Процессор	260	35	4	1628
  	GPU	11234	143	0.1	913
  macOS (MacBook Pro M4)	Процессор	901	42	1.1	736
  	GPU	7835	160	0.1	1623
  Интернет вещей (Raspberry Pi 5 16 ГБ)	Процессор	133	8	7.8	1546

Начало строительства

Приведенные ниже фрагменты кода демонстрируют, как начать работу с интерфейсом командной строки LiteRT-LM, а также с API на Python, Kotlin и C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Поддерживаемые бэкэнды и платформы

Поддерживаемые модели

В таблице ниже перечислены модели, поддерживаемые LiteRT-LM. Более подробные данные о производительности и список моделей видеокарт можно найти в сообществе LiteRT на Hugging Face .

Сообщение о проблемах

Если вы обнаружили ошибку или у вас есть предложение по улучшению функционала, сообщите об этом в разделе Issues на GitHub проекта LiteRT-LM .