リサイクル アドバイザー 3D

機能

リサイクル アドバイザー 3D は、写真をアップロードして、会話する 3D アバターからリサイクルに関するアドバイスを受け取ることができるウェブアプリです。該当する場合は、写真に表示されている種類のアイテムを受け付けている最寄りのリサイクル センターもアバターで提案されます。廃棄物管理を担当する地方自治体は、このアプリをウェブサイトのコンポーネントとして埋め込み、適切な廃棄方法を促進し、住民を支援できます。各コンポーネントはローカライズして、地域のリサイクル センターや地域のガイドラインに関する情報を含めることができます。3D キャラクター、言語、音声を変更することもできます。リサイクルを簡単で楽しいものにすることで、環境保護に貢献しています。

このアプリは、File API を使用して写真を Gemini にアップロードし、マルチターン関数呼び出しを使用してマルチモーダルの Gemini API 呼び出しを行います。最初のターンでは、Gemini が写真内のアイテムを分類し、アイテムのカテゴリに基づいて詳細情報を尋ねます。最終的なテキスト レスポンス ストリームは、Google Cloud Text-to-Speech AI の音声を使用してリアルタイムで発話とリップシンクを実行できるアニメーション 3D アバターに送信されます。また、聴覚障がいのある方や難聴の方向けの字幕も表示されます。Gemini は、アバターが話す回答を生成するだけでなく、キーワードや絵文字を使用してジェスチャーや表情を制御します。最寄りの地域の回収センターは、Gemini の回答とユーザーの現在地に基づいて計算され、Google Maps Static API によって生成された地図とともに表示されます。