LiteRT-LM の概要

LiteRT-LM は、エッジ デバイスで高性能のクロスプラットフォーム LLM デプロイを実現するように設計された、プロダクション レディなオープンソース推論フレームワークです。

• クロス プラットフォームのサポート: Android、iOS、ウェブ、デスクトップ、IoT（Raspberry Pi など）で実行できます。
• ハードウェア アクセラレーション: さまざまなハードウェアで GPU と NPU アクセラレータを活用して、最高のパフォーマンスとシステムの安定性を実現します。
• マルチモーダリティ: 画像と音声のサポートを備えた LLM を使用して構築します。
• ツールの使用: 精度向上のための制約付きデコードによるエージェント ワークフローの関数呼び出しをサポートします。
• 幅広いモデルのサポート: Gemma、Llama、Phi-4、Qwen などを実行します。

オンデバイス生成 AI の紹介

Google AI Edge ギャラリーは、LiteRT-LM を使用して完全にオフラインで実行されるオンデバイスの生成 AI 機能をデモするために設計された試験運用版アプリです。

• Google Play: 対応する Android デバイスで LLM をローカルで使用します。
• App Store: iOS デバイスでオンデバイス AI を体験できます。
• GitHub ソース: 写真アプリのソースコードを表示して、LiteRT-LM を独自のプロジェクトに統合する方法を確認します。

注目のモデル: Gemma-4-E2B

• モデルサイズ: 2.58 GB

• その他の技術的な詳細については、HuggingFace モデルカードをご覧ください。

  プラットフォーム（デバイス）	バックエンド	プレフィル（tk/s）	Decode（tk/s）	最初のトークンまでの時間（秒）	ピーク時の CPU メモリ（MB）
  Android（S26 Ultra）	CPU	557	47	1.8	1733
  	GPU	3808	52	0.3	676
  iOS（iPhone 17 Pro）	CPU	532	25	1.9	607
  	GPU	2878	56	0.3	1450
  Linux（Arm 2.3 & 2.8 GHz、NVIDIA GeForce RTX 4090）	CPU	260	35	4	1628
  	GPU	11234	143	0.1	913
  macOS（MacBook Pro M4）	CPU	901	42	1.1	736
  	GPU	7835	160	0.1	1623
  IoT（Raspberry Pi 5 16 GB）	CPU	133	8	7.8	1546

構築を開始する

次のスニペットは、LiteRT-LM CLI、Python、Kotlin、C++ API の使用を開始する方法を示しています。

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

サポートされているバックエンドとプラットフォーム

サポートされているモデル

次の表に、LiteRT-LM でサポートされているモデルを示します。パフォーマンスの数値とモデルカードの詳細については、Hugging Face の LiteRT コミュニティをご覧ください。

問題の報告

バグが発生した場合や機能リクエストがある場合は、LiteRT-LM GitHub Issues で報告してください。