最新のモバイル デバイスとエッジ デバイスには、CPU と比較して AI モデルを最大 25 倍高速化し、同時に消費電力を最大 5 分の 1 に削減できる、特殊な画像処理装置（GPU）とニューラル処理装置（NPU）が搭載されています。
LiteRT は、統合されたハードウェア アクセラレーション スタックを通じて、これらの特殊なシリコンへのアクセスを簡素化します。LiteRT は、断片化されたベンダー固有の SDK や複雑なハードウェア API を管理する代わりに、モデルの最適化、メモリ管理、ハードウェア ディスパッチの複雑さを抽象化する合理化された CompiledModel API を提供します。
アクセラレータのタイプ
LiteRT は、さまざまなハードウェア バックエンドでモデルを実行するための統合インターフェースを提供します。CompiledModel API を活用することで、オンデバイス コンパイルまたは Ahead-of-Time（AOT）コンパイルを使用してこれらのアクセラレータをシームレスに切り替えることができます。サポートされていないオペレーションについては、CPU に自動的にフォールバックされます。
- CPU: XNNPACK を使用するデフォルトの実行パスで、常に利用可能です。一般的なタスクに最適で、サポートされていない演算子のフォールバックとして使用できます。
- GPU: ML Drift を搭載し、OpenCL、WebGPU、Metal などを活用して、エッジ プラットフォーム全体で SOTA パフォーマンスを実現します。詳しくは、LiteRT による GPU アクセラレーションをご覧ください。
- NPU: AI ワークロードに最高の効率性とパフォーマンスを提供します。LiteRT は、ベンダー固有の SDK 統合を必要とせずに、Google Tensor、Qualcomm、MediaTek などの専用 NPU チップセットにアクセスするための統合開発フローを提供します。詳細については、LiteRT による NPU アクセラレーションをご覧ください。
これらのアクセラレータを組み合わせることで、特定のハードウェアで複雑なオペレーションが利用できない場合に、可能な限り最高のパフォーマンスを得ることができます。アクセラレータがオペレーションを競合する場合、LiteRT は次の優先順位（NPU、GPU、CPU）を使用します。