LiteRT-LM は、エッジ デバイスで高パフォーマンスのクロスプラットフォーム LLM デプロイを実現するように設計された、プロダクション レディなオープンソースの推論フレームワークです。
- クロスプラットフォームのサポート: Android、iOS、ウェブ、パソコン、IoT（Raspberry Pi など）で実行できます。
- ハードウェア アクセラレーション: さまざまなハードウェアで GPU アクセラレータと NPU アクセラレータを活用することで、最高のパフォーマンスとシステムの安定性を実現します。
- マルチモーダル: 画像と音声のサポートを備えた LLM で構築します。
- ツールの使用: エージェント ワークフローの関数呼び出しをサポートし、デコードを制限することで精度を向上させます。
- 幅広いモデルのサポート: Gemma、Llama、Phi-4、Qwen などを実行できます。
新機能（v0.12.0）
- Swift API: Metal GPU アクセラレーションを使用して、LiteRT-LM を iOS アプリケーションにネイティブに統合します。Swift ガイドをご覧ください。
- ウェブ JavaScript API: ウェブ GPU/CPU を使用して、ウェブブラウザ内でモデルを高性能 で実行します。JavaScript ガイドをご覧ください。
- LiteRT-LM CLI / Python API の更新: コマンドライン インターフェースと Python API が、Linux、macOS、Windows の CPU バックエンドと GPU バックエンドに加えて、NPU をサポートするようになりました。CLI ガイドをご覧ください。
- コミュニティで管理されている Flutter API: コミュニティのflutter_gemma パッケージを使用して、クロスプラットフォームの Flutter アプリケーションを構築します。 Flutter ガイドをご覧ください。
オンデバイス生成 AI のショーケース
Google AI Edge ギャラリーは、LiteRT-LM を使用して完全にオフラインで実行されるオンデバイス生成 AI 機能をデモするために設計された試験運用版アプリです。
- Google Play: サポートされている Android デバイスで LLM をローカルで使用します。
- App Store: iOS デバイスでオンデバイス AI を体験してください。
- **GitHub ソース**: 写真アプリのソースコードを表示して、LiteRT-LM を独自のプロジェクトに統合する方法を確認します。
注目のモデル: Gemma-4-E2B
- モデルサイズ: 2.58 GB
その他の技術的な詳細については、 HuggingFace モデルカードをご覧ください。
プラットフォーム（デバイス） バックエンド プレフィル（tk/秒） デコード（tk/秒） 最初のトークンまでの時間（秒） CPU のピークメモリ（MB） Android（S26 Ultra） CPU 557 47 1.8 1733 GPU 3808 52 0.3 676 iOS（iPhone 17 Pro） CPU 532 25 1.9 607 GPU 2878 56 0.3 1450 Linux（Arm 2.3 GHz、2.8 GHz、NVIDIA GeForce RTX 4090） CPU 260 35 4 1628 GPU 11234 143 0.1 913 macOS（MacBook Pro M4） CPU 901 42 1.1 736 GPU 7835 160 0.1 1623 Windows（Intel LunarLake） CPU 435 30 2.4 3505 GPU 3751 48 0.3 3540 IoT（Raspberry Pi 5 16 GB） CPU 133 8 7.8 1546
構築を開始する
LiteRT-LM には、いくつかのプログラミング言語とプラットフォーム用の API が用意されており、オンデバイス AI アプリケーションを迅速に構築できます。開始するには、以下のガイドを選択してください。
| 言語 | ステータス | 最適な用途 | ドキュメント |
|---|---|---|---|
| CLI | ✅ 安定版 |
1 分以内に LiteRT-LM を使い始めることができます。 | CLI ガイド |
| Python | ✅ 安定版 |
デスクトップと Raspberry Pi での迅速なプロトタイピング、開発。 | Python ガイド |
| Kotlin | ✅ 安定版 |
ネイティブ Android アプリと JVM ベースのデスクトップ ツール。コルーチン用に最適化されています。 | Kotlin ガイド |
| Swift | 🚀早期プレビュー
|
専用の Metal サポートによるネイティブ iOS と macOS の統合。 | Swift ガイド |
| JavaScript（ウェブ） | 🚀早期プレビュー
|
モデルをウェブブラウザに直接デプロイして、高性能を実現します。 | JavaScript ガイド |
| Flutter | 🚀 コミュニティ |
コミュニティの flutter_gemma を使用したクロスプラットフォームの Flutter アプリ。 |
Flutter ガイド |
| C++ | ✅ 安定版 |
高性能のクロスプラットフォーム コアロジックと組み込みシステム。 | C++ ガイド |
ソースからビルドする
LiteRT-LM をカスタマイズする場合や、特定のハードウェア構成用にビルドする場合は、ソースコードから直接コンパイルできます。環境を設定してフレームワークをビルドする手順については、 GitHub の LiteRT-LM ビルドと実行ガイド をご覧ください。
サポートされているバックエンドとプラットフォーム
| 加速 | Android | iOS | macOS | Windows | Linux | IoT |
|---|---|---|---|---|---|---|
| CPU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| GPU | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
サポートされているモデル
次の表に、LiteRT-LM でサポートされているモデルを示します。詳細な パフォーマンス数値とモデルカードについては、 Hugging Face の LiteRT コミュニティをご覧ください。
| モデル | タイプ | サイズ（MB） | 詳細 | デバイス | CPU プレフィル（tk/秒） | CPU デコード（tk/秒） | GPU プレフィル（tk/秒） | GPU デコード（tk/秒） |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | チャット | 2583 | モデルカード | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | チャット | 3654 | モデルカード | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | チャット | 2965 | モデルカード | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | チャット | 4235 | モデルカード | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | チャット | 1005 | モデルカード | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | ベース | 289 | モデルカード | Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | チャット | 3906 | モデルカード | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | チャット | 1598 | モデルカード | Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | チャット | 586 | モデルカード | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | チャット | 521 | モデルカード | Samsung S24 Ultra | 251 | 30 | - | - |
問題を報告する
バグが発生した場合や機能リクエストがある場合は、 LiteRT-LM GitHub の問題で報告してください。