SANT AR

機能

このアプリでは、子どもたちが 3D の詳細な手順に沿って SCABO の段ボール製おもちゃを組み立てることができます。子どもたちは、Gemini AI 機能を使って、段ボール製のおもちゃを AR のスマート トイに変えることができます。このアプリは、独自の 3D コンピュータ ビジョン アルゴリズムを使用して、段ボール製のおもちゃの 3D 位置をリアルタイムで検出して追跡できます。Google は、ビジョンやテキスト補完などの Gemini 1.5 Pro の機能を活用して、子どもが科学的な学習を行う際の AI アシスタントとして機能します。人体の解剖学、力学、空間モデルに関する 500 を超えるシミュレーションを含む 3D インベントリ システム。AI の幻覚を防ぐため、科学的なオブジェクトのさまざまな部分に異なる色で 3D モデルにテクスチャを適用して、3D シミュレーションを設計しました。Gemini AI は、仮想シミュレーションをより正確に認識し、子供にわかりやすい説明を提供します。また、Gemini API を使用して科学的なシーン内のオブジェクトを検出します。前景の 3D 仮想モデルまたは実際のアートファクトを含む画像と、ユーザーからの「デフギアはどこですか？」などの質問を基に、Gemini AI オブジェクト検出は部品の 2D 位置を検出できます。次に、2D 位置を科学オブジェクトにマッピングする 3D マッピング アルゴリズムがあります。最後に、AR おもちゃのストーリー モードで既存のプラスチック製おもちゃを再利用することをおすすめします。Gemini API は、仮想科学者とプラスチック製のおもちゃとの間で SF ストーリーを生成するために使用されます。子どもたちは、科学的な範囲で仮想の 3D シミュレーションや自分のおもちゃと学習したり、会話したりできます。すべての 3D シミュレーションは無料かつオンザフライです。