Google AI Edge | Google AI for Developers

Google AI Edge Portal のご紹介: エッジ AI を大規模にベンチマークします。限定公開プレビュー中にアクセスをリクエストするには、登録してください。

エッジデバイスで高パフォーマンスのクロスプラットフォーム LLM デプロイを実現するように設計された、本番環境対応のオープンソース推論フレームワーク

概要

LiteRT-LM を選ぶ理由

Android、iOS、ウェブ、パソコンに LLM をデプロイします。

GPU と NPU のアクセラレーションでパフォーマンスを最大化します。

一般的な LLM のほか、マルチモーダル（Vision、Audio）とツール使用のサポート。

Gemma-3n、Gemma-3、FunctionGemma、TranslateGemma、Qwen3、Phi-4 など、エッジ向けに最適化された最新のオープンモデルを実行します。

ネイティブ Android アプリと JVM ベースのデスクトップツール。

専用の Metal サポートによる iOS と macOS のネイティブ統合（Swift API は近日公開予定）。

WebAssembly と WebGPU を使用してブラウザで直接実行します（JS API は近日提供予定）。

ソースコードに貢献したり、問題を報告したり、例を確認したりできます。

変換済みのモデルをダウンロードして、ディスカッションに参加してください。