Panoramica di LiteRT-LM

LiteRT-LM è un framework di inferenza open source pronto per la produzione progettato per offrire deployment di LLM multipiattaforma ad alte prestazioni su dispositivi edge.

• Supporto cross-platform:esegui su Android, iOS, web, computer e IoT (ad es. Raspberry Pi).
• Accelerazione hardware:ottieni prestazioni di picco e stabilità del sistema sfruttando gli acceleratori GPU e NPU su hardware diversi.
• Multimodalità:crea con LLM che supportano la visione e l'audio.
• Utilizzo degli strumenti:supporto della chiamata di funzioni per flussi di lavoro agentici con decodifica vincolata per una maggiore precisione.
• Ampio supporto di modelli:esegui Gemma, Llama, Phi-4, Qwen e altri.

Showcase dell'AI generativa sul dispositivo

La galleria Google AI Edge è un'app sperimentale progettata per mostrare le funzionalità di AI generativa sul dispositivo, eseguite interamente offline utilizzando LiteRT-LM.

• Google Play: utilizza i LLM localmente sui dispositivi Android supportati.
• App Store: prova l'AI sul dispositivo iOS.
• Origine GitHub: visualizza il codice sorgente dell'app galleria per scoprire come integrare LiteRT-LM nei tuoi progetti.

Modello in evidenza: Gemma-3n-E2B

Inizia a creare

I seguenti snippet mostrano come iniziare a utilizzare la CLI LiteRT-LM, nonché le API Python, Kotlin e C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Backend e piattaforme supportati

Modelli supportati

La seguente tabella elenca i modelli supportati da LiteRT-LM. Per numeri di rendimento e schede del modello più dettagliati, visita la community LiteRT su Hugging Face.

Segnalare problemi

Se riscontri un bug o hai una richiesta di funzionalità, segnalalo all'indirizzo LiteRT-LM GitHub Issues.