エッジ デバイスで高性能なクロスプラットフォーム LLM デプロイを実現するように設計された、本番環境対応のオープンソース推論フレームワーク。
概要 開始する

スポットライト

マルチトークン予測（MTP）で Gemma 4 のオンデバイス推論を強化します。モバイル GPU で 2 倍以上のデコード速度を実現し、画質劣化をゼロに抑えます。
ブログ投稿 ガイド

LiteRT-LM を選ぶ理由

Android、iOS、ウェブ、パソコンに LLM をデプロイします。
GPU と NPU のアクセラレーションでパフォーマンスを最大化します。
一般的な LLM のほか、マルチモーダル（Vision、Audio）とツール使用のサポート。

構築を開始

Linux、MacOS、Windows、Raspberry Pi でハードウェア アクセラレーションを使用する Python API。
Python ガイド
ネイティブ Android アプリと JVM ベースのデスクトップ ツール。
Android ガイド
ネイティブ iOS（macOS は近日提供予定）Swift API。
Swift ガイド
WebGPU アクセラレーションを使用したブラウザベースのウェブアプリ用の JavaScript API と TypeScript API。
ウェブ ガイド
コミュニティで管理されている flutter_gemma パッケージを使用して、クロスプラットフォームの Flutter アプリを構築します。
Flutter ガイド
クロス プラットフォーム C++ API。
C++ ガイド
変換された LiteRT モデルから .litertlm ファイルをビルドします。
ファイル ビルダー ガイド

コミュニティに参加

オープンソース プロジェクトに貢献し、問題を報告して、例を確認します。
GitHub で表示
変換済みのモデル（Gemma、Qwen など）をダウンロードして、ディスカッションに参加してください。
Hugging Face で表示

ブログとお知らせ

LiteRT-LM を使用して、アプリ内や幅広いデバイスに Gemma 4 をデプロイし、優れたパフォーマンスとリーチを実現します。
LiteRT-LM を使用して、ウェアラブルやブラウザベースのプラットフォームに言語モデルを大規模にデプロイします。
FunctionGemma をファインチューニングし、LiteRT-LM Tool Use API を活用した関数呼び出し機能を有効にする方法について説明します。
エッジ言語モデルの RAG、マルチモダリティ、関数呼び出しに関する最新の分析情報。