LiteRT-LM の概要

LiteRT-LM は、エッジ デバイスで高パフォーマンスのクロスプラットフォーム LLM デプロイを実現するように設計された、プロダクション レディなオープンソースの推論フレームワークです。

• クロスプラットフォームのサポート: Android、iOS、ウェブ、パソコン、IoT（Raspberry Pi など）で実行できます。
• ハードウェア アクセラレーション: さまざまなハードウェアで GPU アクセラレータと NPU アクセラレータを活用することで、最高のパフォーマンスとシステムの安定性を実現します。
• マルチモーダル: 画像と音声のサポートを備えた LLM を使用して構築します。
• ツールの使用: エージェント ワークフローの関数呼び出しをサポートし、制約付きデコードにより精度を向上させます。
• 幅広いモデルのサポート: Gemma、Llama、Phi-4、Qwen などを実行できます。

オンデバイス生成 AI のショーケース

Google AI Edge ギャラリーは、LiteRT-LM を使用して完全にオフラインで実行されるオンデバイス生成 AI 機能をデモするために設計された試験運用版アプリです。

• Google Play: サポートされている Android デバイスで LLM をローカルで使用します。
• App Store: iOS デバイスでオンデバイス AI を体験できます。
• GitHub ソース: 写真アプリのソースコードを表示して、LiteRT-LM を独自のプロジェクトに統合する方法を確認できます。

注目のモデル: Gemma-4-E2B

• モデルサイズ: 2.58 GB

• その他の技術的な詳細については、HuggingFace モデルカードをご覧ください。

  プラットフォーム（デバイス）	バックエンド	プレフィル（tk/秒）	デコード（tk/秒）	最初のトークンまでの時間（秒）	CPU のピークメモリ（MB）
  Android（S26 Ultra）	CPU	557	47	1.8	1733
  	GPU	3808	52	0.3	676
  iOS（iPhone 17 Pro）	CPU	532	25	1.9	607
  	GPU	2878	56	0.3	1450
  Linux（Arm 2.3 GHz、2.8 GHz、NVIDIA GeForce RTX 4090）	CPU	260	35	4	1628
  	GPU	11234	143	0.1	913
  macOS（MacBook Pro M4）	CPU	901	42	1.1	736
  	GPU	7835	160	0.1	1623
  IoT（Raspberry Pi 5 16 GB）	CPU	133	8	7.8	1546

構築を開始する

次のスニペットは、LiteRT-LM CLI、Python、Kotlin、C++ API の使用を開始する方法を示しています。

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

サポートされているバックエンドとプラットフォーム

サポートされているモデル

次の表に、LiteRT-LM でサポートされているモデルを示します。パフォーマンスの詳細な数値とモデルカードについては、 Hugging Face の LiteRT コミュニティをご覧ください。

問題の報告

バグが発生した場合や機能リクエストがある場合は、 LiteRT-LM GitHub Issuesで報告してください。