Gemini Robotics ER

Gemini Robotics ER（embodied reasoning）モデルは、ロボットが現実世界を認識して操作できるようにする視覚言語モデル（VLM）です。視覚データを解釈し、空間的および時間的推論を実行し、マルチステップのタスクを計画し、ロボットとツールをオーケストレートします。

モデル

Gemini Robotics ER 2 モデルは、Gemini Robotics の最新モデルです。これは、ロボットが環境を正確に理解できるようにする、更新された推論モデルです。ロボットの自律的なオーケストレーション（VLA の使用など）、進捗状況の把握や成功検出を含むロボット動画の理解、計測器の読み取り、ポインティング、空間推論など、身体化された推論機能に特化しています。

Gemini Robotics ER 2 モデルには、次の 2 つのモデル エンドポイントが導入されています。

• gemini-robotics-er-2-preview: 標準の ER 2 モデル。Gemini 3.5 Flash をベースに、空間推論、動画の瞬間検出、動画の進行状況の分類、マルチロボット オーケストレーション、マルチステップ ツール使用が改善されています。
• gemini-robotics-er-2-streaming-preview: Live API を介したリアルタイム ストリーミング用に最適化されています。このモデルは、継続的な音声入力と動画入力を処理する低レイテンシのロボット エージェントに使用します。

Gemini Robotics ER 1.6 を使用している場合は、API 呼び出しで model="gemini-robotics-er-1.6-preview" を model="gemini-robotics-er-2-preview" または model="gemini-robotics-er-2-streaming-preview" に置き換えて、Gemini Robotics ER 2 にアップグレードします。Gemini Robotics ER 1.6 モデルは、8 月末にシャットダウンされます。

Google AI Studio で Gemini Robotics ER 2 を試す

ロボット工学の機能

Gemini Robotics ER は、さまざまな身体化された推論機能をサポートしています。機能を選択して詳細を確認します。

スタートガイド

次の例では、画像内のオブジェクトを検出し、正規化された 2D 座標とラベルを返します。この出力をロボット工学 API または VLA モデルに直接渡して、ロボット アクションを生成できます。

from google import genai
from google.genai import types

PROMPT = """
          Point to no more than 10 items in the image. The label returned
          should be an identifying name for the object detected.
          The answer should follow the json format: [{"point": <point>,
          "label": <label1>}, ...]. The points are in [y, x] format
          normalized to 0-1000.
        """
client = genai.Client()

uploaded_file = client.files.upload(file="my-image.png")

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_uri(
            file_uri=uploaded_file.uri,
            mime_type=uploaded_file.mime_type
        ),
        PROMPT
    ],
    config=types.GenerateContentConfig(
        thinking_config=types.ThinkingConfig(thinking_level="high")
    ),
)

print(response.text)

# First, ensure you have the image file locally.
# Encode the image to base64
IMAGE_BASE64=$(base64 -w 0 my-image.png)

curl -X POST \
  "https://generativelanguage.googleapis.com/v1beta/models/gemini-robotics-er-2-preview:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "parts": [
          {
            "inlineData": {
              "mimeType": "image/png",
              "data": "'"${IMAGE_BASE64}"'"
            }
          },
          {
            "text": "Point to no more than 10 items in the image. The label returned should be an identifying name for the object detected. The answer should follow the json format: [{\"point\": [y, x], \"label\": <label1>}, ...]. The points are in [y, x] format normalized to 0-1000."
          }
        ]
      }
    ],
    "generationConfig": {
      "thinkingConfig": {
        "thinkingLevel": "high"
      }
    }
  }'

出力は、オブジェクトを含む JSON 配列になります。各オブジェクトには、オブジェクトを識別する point（正規化された [y, x] 座標）と label が含まれます。

[
  {"point": [376, 508], "label": "small banana"},
  {"point": [287, 609], "label": "larger banana"},
  {"point": [223, 303], "label": "pink starfruit"},
  {"point": [435, 172], "label": "paper bag"},
  {"point": [270, 786], "label": "green plastic bowl"},
  {"point": [488, 775], "label": "metal measuring cup"},
  {"point": [673, 580], "label": "dark blue bowl"},
  {"point": [471, 353], "label": "light blue bowl"},
  {"point": [492, 497], "label": "bread"},
  {"point": [525, 429], "label": "lime"}
]

次の図は、これらのポイントを表示する方法の例です。

仕組み

Gemini Robotics ER は、自然言語プロンプトで画像、動画、音声の入力を受け取ります。オブジェクトを識別し、シーンのコンテキストと空間関係を推論して、座標や境界ボックスなどの構造化された出力を返します。

Gemini Robotics ER はエージェント機能も備えています。複雑なタスクをサブタスクに分割し、ロボット関数を呼び出すか、生成されたコードを実行してサブタスクを実行します。たとえば、「りんごをボウルに入れる」は、見つける、つかむ、置くという一連のステップになります。

Gemini がツール呼び出しを実行する方法の詳細については、関数呼び出しをご覧ください。

安全性

Gemini Robotics ER は安全性を考慮して構築されていますが、ロボットの周囲の安全な環境を維持するのはお客様の責任です。生成 AI モデルは間違えることがあり、物理的なロボットは損傷を引き起こす可能性があります。詳しくは、Google DeepMind のロボット工学の安全性に関するページをご覧ください。

ベスト プラクティス

1. 平易で自然な言葉を使用します。ロボットに何をしてほしいかを、人に説明するのと同じように記述します。用語が機能しない場合は、一般的な同義語を試してください。

2. 視覚入力の最適化。画像を送信する前に、小さくて不鮮明な対象物を切り抜くか、拡大します。照明や色のコントラストが低いと、検出に影響することがあります。

3. 複雑なタスクをステップに分割します。各ステップを個別のプロンプトとして送信して、モデルの焦点を絞り、精度を高めます。

4. 高精度のタスクでは、複数回クエリを実行して結果を平均します。このコンセンサス アプローチにより、空間出力の分散が減少します。

制限事項

Gemini Robotics ER を使用して開発する場合は、次の制限事項を考慮してください。

• API キーの制限: Gemini API は、制限のない API キーからのリクエストを受け付けず、403 Forbidden エラーを返します。AI Studio で制限を追加して、API キーを保護します。詳細については、制限のない API キーを保護するをご覧ください。
• レイテンシとパフォーマンス: 複雑なクエリ、高解像度の入力、高度な思考レベルは、処理時間の増加につながる可能性があります。思考レベルには、レイテンシとパフォーマンスのバランスが取れた中を使用します。
• ハルシネーション: すべての大規模言語モデルと同様に、Gemini Robotics ER モデルも、特に曖昧なプロンプトや分布外の入力に対して、ハルシネーションを起こしたり、誤った情報を提供したりすることがあります。
• プロンプトの品質に依存: 出力の品質は、入力プロンプトの明瞭さに依存します。具体的で構造化されたプロンプトを使用します。
• コンピューティング費用: モデルを実行すると、特に動画入力や高い thinking_budget を使用すると、コンピューティング リソースが消費され、費用が発生します。詳細については、思考のページをご覧ください。
• 入力タイプ: 各モードの制限事項について詳しくは、以下のトピックをご覧ください。
  • 画像入力
  • ビデオ入力
  • 音声入力

プライバシーに関するお知らせ

お客様は、このドキュメントで言及されているモデル（「ロボティクス モデル」）が、お客様の指示に従ってハードウェアを操作し、移動するために動画データと音声データを活用することを認めます。そのため、音声、画像、肖像データなどの個人を特定できる人物のデータ（「個人データ」）がロボット モデルによって収集されるように、ロボット モデルを操作することがあります。個人データを収集する形でロボット モデルを運用することを選択した場合、Gemini API の追加利用規約（https://ai.google.dev/gemini-api/terms）に記載されているとおり、Google に個人データが提供され、Google がそれを使用する可能性があることを、識別可能な人物に十分に通知し、その人物が同意するまで、その人物がロボット モデルとやり取りしたり、ロボット モデルの周囲に立ち入ったりすることを許可しないことに同意するものとします。これには、「Google によるデータの使用方法」というセクションに記載されている内容も含まれます。お客様は、かかる通知が本規約に記載されているとおりに個人データの収集と使用を許可するようにし、顔のぼかしなどの技術を使用したり、識別可能な人物が含まれないエリアでロボット モデルを運用したりするなど、商業上合理的な努力をもって、個人データの収集と配布を可能な限り最小限に抑えます。

料金

料金と利用可能なリージョンの詳細については、料金ページをご覧ください。

モデル エンドポイント

次のステップ

• 空間推論 - ポインティング、トラッキング、境界ボックス、軌跡。
• エージェント機能 - コード実行、計測器の読み取り、画像アノテーション。
• タスク オーケストレーション - カスタム ロボット API を使用した長期的なタスク。
• ストリーミングを使用したロボティクス - リアルタイム双方向ストリーミング（Gemini Robotics ER 2 のみ）。
• 動画の理解 - 瞬間検出と進捗状況の分類（Gemini Robotics ER 2 のみ）。
• Google DeepMind のロボット工学の安全性 - モデル ファミリーの背後にある安全性研究。