Présentation de LiteRT-LM

LiteRT-LM est un framework d'inférence Open Source prêt à l'emploi, conçu pour offrir des déploiements de LLM hautes performances et multiplateformes sur des appareils de périphérie.

• Compatibilité multiplateforme : exécutez-le sur Android, iOS, le Web, un ordinateur et l'IoT (par exemple, Raspberry Pi).
• Accélération matérielle : obtenez des performances optimales et une stabilité du système en tirant parti des accélérateurs GPU et NPU sur différents matériels.
• Multimodalité : créez des LLM compatibles avec la vision et l'audio.
• Utilisation des outils : prise en charge des appels de fonction pour les workflows d'agent avec décodage contraint pour une meilleure précision.
• Large compatibilité avec les modèles : exécutez Gemma, Llama, Phi-4, Qwen et plus encore.

Démonstration de l'IA générative sur l'appareil

Google AI Edge Gallery est une application expérimentale conçue pour présenter les fonctionnalités d'IA générative sur l'appareil, qui s'exécute entièrement hors connexion à l'aide de LiteRT-LM.

• **Google Play** : utilisez des LLM en local sur les appareils Android compatibles.
• App Store : découvrez l'IA sur l'appareil sur votre appareil iOS.
• Source GitHub : consultez le code source de l'application Galerie pour découvrir comment intégrer LiteRT-LM dans vos propres projets.

Modèle présenté : Gemma-3n-E2B

Créer des applications

Les extraits suivants montrent comment commencer à utiliser la CLI LiteRT-LM, ainsi que les API Python, Kotlin et C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Backends et plates-formes compatibles

Modèles compatibles

Le tableau suivant répertorie les modèles compatibles avec LiteRT-LM. Pour obtenir des chiffres de performances plus détaillés et des fiches de modèle, consultez la communauté LiteRT sur Hugging Face.

Problèmes concernant les rapports

Si vous rencontrez un bug ou si vous souhaitez demander une fonctionnalité, signalez-le dans la section Problèmes GitHub de LiteRT-LM.