Обзор LiteRT-LM

LiteRT-LM — это готовая к использованию в производственных условиях платформа для выполнения инференции с открытым исходным кодом, разработанная для обеспечения высокопроизводительного кроссплатформенного развертывания LLM на периферийных устройствах.

• Кроссплатформенная поддержка: работает на Android, iOS, в веб-браузере, на настольных компьютерах и устройствах IoT (например, Raspberry Pi).
• Аппаратное ускорение: Добейтесь максимальной производительности и стабильности системы, используя ускорители GPU и NPU на различном оборудовании.
• Мультимодальность: Создавайте модели на основе LLM, поддерживающие визуальное и звуковое восприятие.
• Использование инструмента: Поддержка вызова функций для агентных рабочих процессов с ограниченным декодированием для повышения точности.
• Широкая поддержка моделей: запуск Gemma, Llama, Phi-4, Qwen и других.

Демонстрация возможностей GenAI на устройстве

Google AI Edge Gallery — это экспериментальное приложение, разработанное для демонстрации возможностей генеративного ИИ на устройстве, работающее полностью в автономном режиме с использованием LiteRT-LM.

• Google Play : Используйте LLM-модули локально на поддерживаемых устройствах Android.
• App Store : Оцените возможности искусственного интеллекта на вашем устройстве iOS.
• Исходный код на GitHub : Просмотрите исходный код приложения галереи, чтобы узнать, как интегрировать LiteRT-LM в ваши собственные проекты.

Представленная модель: Gemma-3n-E2B

Начало строительства

Приведенные ниже фрагменты кода демонстрируют, как начать работу с интерфейсом командной строки LiteRT-LM, а также с API на Python, Kotlin и C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Поддерживаемые бэкэнды и платформы

Поддерживаемые модели

В таблице ниже перечислены модели, поддерживаемые LiteRT-LM. Более подробные данные о производительности и список моделей видеокарт можно найти в сообществе LiteRT на Hugging Face .

Сообщение о проблемах

Если вы обнаружили ошибку или у вас есть предложение по улучшению функционала, сообщите об этом в разделе Issues на GitHub проекта LiteRT-LM .