Descripción general de LiteRT-LM

LiteRT-LM es un framework de inferencia de código abierto listo para producción diseñado para ofrecer implementaciones de LLM de alto rendimiento y multiplataforma en dispositivos perimetrales.

• Compatibilidad multiplataforma: Se ejecuta en Android, iOS, la Web, computadoras de escritorio y IoT (p.ej., Raspberry Pi).
• Aceleración de hardware: Obtén el máximo rendimiento y la estabilidad del sistema aprovechando los aceleradores de GPU y NPU en diversos hardware.
• Multimodalidad: Compila con LLMs que tienen compatibilidad con visión y audio.
• Uso de herramientas: Compatibilidad con llamadas a funciones para flujos de trabajo de agentes con decodificación restringida para mejorar la precisión.
• Amplia compatibilidad con modelos: Ejecuta Gemma, Llama, Phi-4, Qwen y mucho más.

Demostración de IA generativa integrada en el dispositivo

La Galería de Google AI Edge es una app experimental diseñada para mostrar las capacidades de IA generativa integrada en el dispositivo que se ejecutan por completo sin conexión con LiteRT-LM.

• Google Play: Usa LLMs de forma local en dispositivos Android compatibles.
• App Store: Experimenta la IA integrada en el dispositivo en tu dispositivo iOS.
• Fuente de GitHub: Consulta el código fuente de la app de la galería para aprender a integrar LiteRT-LM en tus propios proyectos.

Modelo destacado: Gemma-3n-E2B

Comienza a desarrollar

En los siguientes fragmentos, se muestra cómo comenzar a usar la CLI de LiteRT-LM, así como las APIs de Python, Kotlin y C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Plataformas y backends compatibles

Modelos compatibles

En la siguiente tabla, se enumeran los modelos compatibles con LiteRT-LM. Para obtener números de rendimiento y tarjetas de modelo más detallados, visita la comunidad de LiteRT en Hugging Face.

Informar problemas

Si encuentras un error o tienes una solicitud de función, infórmalo en Problemas de LiteRT-LM en GitHub.