Gemini Robotics ER

Gemini Robotics ER (實體推論) 模型是視覺語言模型 (VLM)，可讓機器人感知實體世界並與之互動。解讀視覺資料、執行空間和時間推論、規劃多步驟工作，以及自動調度管理機器人和工具。

模型

Gemini Robotics ER 2 模型是 Gemini Robotics 的最新模型。 這項更新後的推論模型可讓機器人精確瞭解周遭環境。這項技術專門用於實體推論功能，例如代理程式協調機器人 (例如使用 VLA)、瞭解機器人影片 (包括瞭解進度和偵測成功)、讀取儀表、指向和空間推論。

Gemini Robotics ER 2 模型推出兩個模型端點：

• gemini-robotics-er-2-preview：標準 ER 2 模型。以 Gemini 3.5 Flash 為基礎，強化空間推理、影片片段搜尋、影片進度分類、多機器人協調和多步驟工具使用功能。
• gemini-robotics-er-2-streaming-preview：透過 Live API 進行即時串流時，可獲得最佳體驗。這個模型適用於低延遲的機器人代理程式，可處理連續的音訊和視訊輸入內容。

如果您使用 Gemini Robotics ER 1.6，請在 API 呼叫中將 model="gemini-robotics-er-1.6-preview" 替換為 model="gemini-robotics-er-2-preview" 或 model="gemini-robotics-er-2-streaming-preview"，升級至 Gemini Robotics ER 2。請注意，Gemini Robotics ER 1.6 模型將於 8 月底停用。

在 Google AI Studio 中試用 Gemini Robotics ER 2

機器人功能

Gemini Robotics ER 支援多種實體推論功能。 選取功能即可瞭解詳情：

開始使用

以下範例會在圖片中尋找物件，並傳回標準化的 2D 座標和標籤。您可以將這項輸出內容直接傳遞至機器人 API 或 VLA 模型，產生機器人動作。

from google import genai

PROMPT = """
          Point to no more than 10 items in the image. The label returned
          should be an identifying name for the object detected.
          The answer should follow the json format: [{"point": <point>,
          "label": <label1>}, ...]. The points are in [y, x] format
          normalized to 0-1000.
        """
client = genai.Client()

uploaded_file = client.files.upload(file="my-image.png")

image_response = client.interactions.create(
    model="gemini-robotics-er-2-preview",
    input=[
        {
            "type": "image",
            "uri": uploaded_file.uri,
            "mime_type": uploaded_file.mime_type
        },
        {"type": "text", "text": PROMPT}
    ],
    generation_config={"thinking_level": "high"},
)

print(image_response.output_text)

# First, ensure you have the image file locally.
# Encode the image to base64
IMAGE_BASE64=$(base64 -w 0 my-image.png)

curl -X POST \
  "https://generativelanguage.googleapis.com/v1beta/interactions" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-robotics-er-2-preview",
    "input": {
      "parts": [
        {
          "inlineData": {
            "mimeType": "image/png",
            "data": "'"${IMAGE_BASE64}"'"
          }
        },
        {
          "text": "Point to no more than 10 items in the image. The label returned should be an identifying name for the object detected. The answer should follow the json format: [{\"point\": [y, x], \"label\": <label1>}, ...]. The points are in [y, x] format normalized to 0-1000."
        }
      ]
    },
    "generation_config": {
      "thinking_config": {
        "thinking_level": "high"
      }
    }
  }'

輸出內容會是包含物件的 JSON 陣列，每個物件都有 point (標準化 [y, x] 座標) 和用於識別物件的 label。

[
  {"point": [376, 508], "label": "small banana"},
  {"point": [287, 609], "label": "larger banana"},
  {"point": [223, 303], "label": "pink starfruit"},
  {"point": [435, 172], "label": "paper bag"},
  {"point": [270, 786], "label": "green plastic bowl"},
  {"point": [488, 775], "label": "metal measuring cup"},
  {"point": [673, 580], "label": "dark blue bowl"},
  {"point": [471, 353], "label": "light blue bowl"},
  {"point": [492, 497], "label": "bread"},
  {"point": [525, 429], "label": "lime"}
]

下圖顯示這些點的範例：

運作方式

Gemini Robotics ER 接受圖片、影片或音訊輸入內容，並以自然語言提示。這項功能會識別物件、推論場景脈絡和空間關係，並傳回座標或定界框等結構化輸出內容。

Gemini Robotics ER 也是代理式系統，可將複雜工作分解為子工作，並呼叫機器人函式或執行生成的程式碼來完成這些子工作。舉例來說，「把蘋果放進碗裡」會變成一連串的步驟，包括找到蘋果、抓住蘋果，以及放置蘋果。

如要瞭解 Gemini 如何執行工具呼叫，請參閱「函式呼叫」。

安全性

雖然 Gemini Robotics ER 的設計以安全為考量，但您仍有責任確保機器人周圍環境安全無虞。生成式 AI 模型可能會出錯，實體機器人則可能造成損壞。如要瞭解詳情，請前往 Google DeepMind 機器人安全頁面。

最佳做法

1. 使用平實的自然語言。以平常說話的語氣描述你希望機器人執行的動作。如果某個字詞無法正常運作，請嘗試使用常見的同義字。

2. 最佳化視覺輸入內容。先裁剪或放大圖片中的小型或模糊物件，再傳送圖片。光線和低色彩對比度可能會影響偵測結果。

3. 將複雜的任務細分為多個步驟。請將每個步驟分別傳送至模型，讓模型專注於特定內容，並提高準確率。

4. 針對高精確度工作多次查詢，並計算結果平均值。這種共識做法可減少空間輸出內容的差異。

限制

使用 Gemini Robotics ER 進行開發時，請注意下列限制：

• API 金鑰限制：Gemini API 不接受來自無限制 API 金鑰的要求，並會傳回 403 Forbidden 錯誤。在 AI Studio 中新增限制，確保 API 金鑰安全無虞。詳情請參閱「保護未設限的 API 金鑰安全」一文。
• 延遲與效能：複雜的查詢、高解析度輸入內容或高思考程度可能會導致處理時間增加。思考層級請使用中等，在延遲時間和效能之間取得平衡。
• 幻覺：如同所有大型語言模型，Gemini Robotics ER 模型有時也會產生「幻覺」或提供錯誤資訊，尤其是針對模稜兩可的提示或超出分布範圍的輸入內容。
• 取決於提示品質：輸出內容品質取決於輸入提示的清晰度。使用具體且結構完整的提示。
• 運算成本：執行模型 (尤其是使用影片輸入內容或高 thinking_budget 時) 會消耗運算資源並產生費用。詳情請參閱「思考」頁面。
• 輸入類型：如要瞭解各模式的限制，請參閱下列主題。
  • 圖片輸入內容
  • 視訊輸入
  • 音訊輸入

隱私權聲明

您瞭解本文件提及的模型 (以下稱「機器人模型」) 會運用影片和音訊資料，根據您的指示操作及移動硬體。因此，您可能會操作機器人模型，讓模型收集可識別身分者的資料，例如語音、圖像和肖像資料 (「個人資料」)。如果您選擇以會收集個人資料的方式操作機器人模型，您同意不會允許任何可識別身分的人與機器人模型互動或出現在機器人模型周圍區域，除非且直到您已充分通知這些可識別身分的人，並取得他們同意，瞭解 Google 可能會根據 https://ai.google.dev/gemini-api/terms (以下簡稱「條款」) 的 Gemini API 附加服務條款提供及使用他們的個人資料，包括「Google 如何使用您的資料」一節所述。您應確保這類通知允許收集及使用《條款》所述的個人資料，並盡可能運用商業上合理的努力，透過臉部模糊處理等技術，以及在不含可識別身分人員的區域操作機器人模型，盡量減少個人資料的收集和散布。

定價

如需價格和適用區域的詳細資訊，請參閱定價頁面。

模型端點

後續步驟

• 空間推論：指向、追蹤、定界框、軌跡。
• 代理能力：執行程式碼、讀取儀器、標註圖片。
• 工作調度：使用自訂機器人 API 執行長期工作。
• 串流機器人：即時雙向串流 (僅限 Gemini Robotics ER 2)。
• 影片理解：尋找特定時刻和進度分類 (僅限 Gemini Robotics ER 2)。
• Google DeepMind 機器人安全：模型系列背後的安全研究。