Descripción general de LiteRT-LM

LiteRT-LM es un framework de inferencia de código abierto listo para producción diseñado para ofrecer implementaciones de LLM multiplataforma y de alto rendimiento en dispositivos perimetrales.

• Compatibilidad con múltiples plataformas: Ejecuta en Android, iOS, la Web, computadoras de escritorio y el IoT (p.ej., Raspberry Pi).
• Aceleración por hardware: Obtén el máximo rendimiento y estabilidad del sistema aprovechando los aceleradores de GPU y NPU en diversos dispositivos.
• Multimodalidad: Compila con LLMs que admiten visión y audio.
• Uso de herramientas: Compatibilidad con llamadas a funciones para flujos de trabajo con agentes y decodificación restringida para mejorar la precisión.
• Compatibilidad con una amplia variedad de modelos: Ejecuta Gemma, Llama, Phi-4, Qwen y muchos más.

Presentación de la IA generativa integrada en el dispositivo

La Galería de Google AI Edge es una app experimental diseñada para mostrar las capacidades de IA generativa en el dispositivo que se ejecutan completamente sin conexión con LiteRT-LM.

• Google Play: Usa LLMs de forma local en dispositivos Android compatibles.
• App Store: Experimenta la IA en el dispositivo en tu dispositivo iOS.
• Fuente de GitHub: Consulta el código fuente de la app de galería para aprender a integrar LiteRT-LM en tus propios proyectos.

Modelo destacado: Gemma-4-E2B

• Tamaño del modelo: 2.58 GB

• Encontrarás más detalles técnicos en la tarjeta del modelo de Hugging Face.

  Plataforma (dispositivo)	Backend	Completado previamente (tk/s)	Decodificación (tk/s)	Tiempo hasta el primer token (segundos)	Memoria máxima de la CPU (MB)
  Android (S26 Ultra)	CPU	557	47	1.8	1989
  	GPU	3808	52	0.3	676
  iOS (iPhone 17 Pro)	CPU	532	25	1.9	607
  	GPU	2878	56	0.3	1450
  Linux (Arm 2.3 y 2.8 GHz, NVIDIA GeForce RTX 4090)	CPU	260	35	4	1628
  	GPU	11234	143	0.1	913
  macOS (MacBook Pro M4)	CPU	901	42	1.1	736
  	GPU	7835	160	0.1	1623
  IoT (Raspberry Pi 5, 16 GB)	CPU	133	8	7.8	1546

Comienza a desarrollar

En los siguientes fragmentos, se muestra cómo comenzar a usar la CLI de LiteRT-LM, así como las APIs de Python, Kotlin y C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Plataformas y backends compatibles

Modelos compatibles

En la siguiente tabla, se enumeran los modelos compatibles con LiteRT-LM. Para obtener cifras de rendimiento y tarjetas de modelo más detalladas, visita la comunidad de LiteRT en Hugging Face.

Informar problemas

Si encuentras un error o tienes una solicitud de función, infórmalo en LiteRT-LM GitHub Issues.