Visão geral do LiteRT-LM

O LiteRT-LM é um framework de inferência de código aberto pronto para produção projetado para oferecer implantações de LLM de alto desempenho e multiplataforma em dispositivos de borda.

• Suporte multiplataforma:execute no Android, iOS, Web, computador e IoT (por exemplo, Raspberry Pi).
• Aceleração de hardware:tenha o máximo de desempenho e estabilidade do sistema usando aceleradores de GPU e NPU em diversos hardwares.
• Multimodalidade:crie com LLMs que oferecem suporte a visão e áudio.
• Uso de ferramentas:compatibilidade com chamada de função para fluxos de trabalho agênticos com decodificação restrita para melhorar a acurácia.
• Suporte a vários modelos:execute o Gemma, o Llama, o Phi-4, o Qwen e muito mais.

Demonstração de IA generativa no dispositivo

A Galeria do Google AI Edge é um app experimental projetado para mostrar recursos de IA generativa no dispositivo que funcionam totalmente off-line usando o LiteRT-LM.

• Google Play: use LLMs localmente em dispositivos Android compatíveis.
• App Store: aproveite a IA no dispositivo no seu dispositivo iOS.
• Fonte do GitHub: confira o código-fonte do app de galeria para saber como integrar o LiteRT-LM aos seus próprios projetos.

Modelo em destaque: Gemma-3n-E2B

Comece a criar

Os snippets a seguir mostram como começar a usar a CLI LiteRT-LM, além das APIs Python, Kotlin e C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Back-ends e plataformas compatíveis

Modelos compatíveis

A tabela a seguir lista os modelos compatíveis com o LiteRT-LM. Para números de performance e cards de modelo mais detalhados, acesse a comunidade LiteRT no Hugging Face.

Problemas em relatórios

Se você encontrar um bug ou tiver uma solicitação de recurso, informe em Problemas do GitHub do LiteRT-LM.