Gemini Robotics ER

Gemini Robotics ER (embodied reasoning) 모델은 로봇이 실제 세계를 인식하고 상호작용할 수 있도록 지원하는 비전 언어 모델(VLM)입니다. 시각적 데이터를 해석하고, 공간 및 시간 추론을 수행하고, 다단계 작업을 계획하고, 로봇과 도구를 조정합니다.

모델

Gemini Robotics ER 2 모델은 Gemini Robotics의 최신 모델입니다. 로봇이 환경을 정확하게 이해할 수 있도록 지원하는 업데이트된 추론 모델입니다. 이 모델은 로봇의 에이전트 오케스트레이션 (예: VLA 사용), 진행 상황 이해 및 성공 감지를 비롯한 로봇 동영상 이해, 계기판 읽기, 가리키기, 공간 추론과 같은 체화된 추론 기능에 특화되어 있습니다.

Gemini Robotics ER 2 모델에는 다음과 같은 두 가지 모델 엔드포인트가 도입되었습니다.

• gemini-robotics-er-2-preview: 표준 ER 2 모델입니다. 향상된 공간 추론, 동영상 순간 찾기, 동영상 진행 상황 분류, 다중 로봇 오케스트레이션, 다단계 도구 사용을 통해 Gemini 3.5 Flash를 기반으로 합니다.
• gemini-robotics-er-2-streaming-preview: Live API를 통한 실시간 스트리밍에 최적화되어 있습니다. 연속 오디오 및 동영상 입력을 처리하는 짧은 지연 시간 로봇 에이전트에 이 모델을 사용합니다.

Gemini Robotics ER 1.6을 사용하는 경우 API 호출에서 model="gemini-robotics-er-1.6-preview"을 model="gemini-robotics-er-2-preview" 또는 model="gemini-robotics-er-2-streaming-preview"로 대체하여 Gemini Robotics ER 2로 업그레이드하세요. Gemini Robotics ER 1.6 모델은 8월 말에 종료됩니다.

Google AI Studio에서 Gemini Robotics ER 2 사용해 보기

로봇 기능

Gemini Robotics ER은 다양한 체화된 추론 기능을 지원합니다. 기능을 선택하여 자세히 알아보세요.

시작하기

다음 예에서는 이미지에서 객체를 찾아 정규화된 2D 좌표와 라벨을 반환합니다. 이 출력을 로봇 공학 API나 VLA 모델에 직접 전달하여 로봇 작업을 생성할 수 있습니다.

from google import genai
from google.genai import types

PROMPT = """
          Point to no more than 10 items in the image. The label returned
          should be an identifying name for the object detected.
          The answer should follow the json format: [{"point": <point>,
          "label": <label1>}, ...]. The points are in [y, x] format
          normalized to 0-1000.
        """
client = genai.Client()

uploaded_file = client.files.upload(file="my-image.png")

response = client.models.generate_content(
    model="gemini-robotics-er-2-preview",
    contents=[
        types.Part.from_uri(
            file_uri=uploaded_file.uri,
            mime_type=uploaded_file.mime_type
        ),
        PROMPT
    ],
    config=types.GenerateContentConfig(
        thinking_config=types.ThinkingConfig(thinking_level="high")
    ),
)

print(response.text)

# First, ensure you have the image file locally.
# Encode the image to base64
IMAGE_BASE64=$(base64 -w 0 my-image.png)

curl -X POST \
  "https://generativelanguage.googleapis.com/v1beta/models/gemini-robotics-er-2-preview:generateContent" \
  -H "x-goog-api-key: $GEMINI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "parts": [
          {
            "inlineData": {
              "mimeType": "image/png",
              "data": "'"${IMAGE_BASE64}"'"
            }
          },
          {
            "text": "Point to no more than 10 items in the image. The label returned should be an identifying name for the object detected. The answer should follow the json format: [{\"point\": [y, x], \"label\": <label1>}, ...]. The points are in [y, x] format normalized to 0-1000."
          }
        ]
      }
    ],
    "generationConfig": {
      "thinkingConfig": {
        "thinkingLevel": "high"
      }
    }
  }'

출력은 객체를 포함하는 JSON 배열이며, 각 객체에는 point(정규화된 [y, x] 좌표)와 객체를 식별하는 label가 있습니다.

[
  {"point": [376, 508], "label": "small banana"},
  {"point": [287, 609], "label": "larger banana"},
  {"point": [223, 303], "label": "pink starfruit"},
  {"point": [435, 172], "label": "paper bag"},
  {"point": [270, 786], "label": "green plastic bowl"},
  {"point": [488, 775], "label": "metal measuring cup"},
  {"point": [673, 580], "label": "dark blue bowl"},
  {"point": [471, 353], "label": "light blue bowl"},
  {"point": [492, 497], "label": "bread"},
  {"point": [525, 429], "label": "lime"}
]

다음 이미지는 이러한 포인트를 표시하는 방법을 보여주는 예입니다.

작동 방식

Gemini Robotics ER은 자연어 프롬프트로 이미지, 동영상 또는 오디오 입력을 받습니다. 객체를 식별하고, 장면 컨텍스트와 공간 관계를 추론하며, 좌표나 경계 상자와 같은 구조화된 출력을 반환합니다.

Gemini Robotics ER은 에이전트 기능도 제공합니다. 복잡한 작업을 하위 작업으로 나누고 로봇 함수를 호출하거나 생성된 코드를 실행하여 작업을 실행합니다. 예를 들어 '사과를 그릇에 넣어'는 찾기, 잡기, 놓기 단계의 시퀀스가 됩니다.

Gemini가 도구 호출을 실행하는 방법에 관한 자세한 내용은 함수 호출을 참고하세요.

안전

Gemini Robotics ER은 안전을 고려하여 제작되었지만 로봇 주변의 안전한 환경을 유지하는 것은 사용자의 책임입니다. 생성형 AI 모델은 실수를 할 수 있으며, 물리적 로봇은 손상을 일으킬 수 있습니다. 자세한 내용은 Google DeepMind 로봇 공학 안전 페이지를 참고하세요.

권장사항

1. 간단하고 자연스러운 언어를 사용하세요. 사람에게 말하듯이 로봇이 수행할 작업을 설명하세요. 용어가 작동하지 않으면 일반적인 동의어를 사용해 보세요.

2. 시각적 입력 최적화 이미지를 보내기 전에 작거나 불분명한 객체를 자르거나 확대합니다. 조명과 낮은 색상 대비는 감지에 영향을 미칠 수 있습니다.

3. 복잡한 작업을 단계별로 나눕니다. 모델이 집중하고 정확도를 높일 수 있도록 각 단계를 별도의 프롬프트로 전송하세요.

4. 고정밀 작업의 경우 여러 번 쿼리하고 결과를 평균화합니다. 이 컨센서스 접근 방식은 공간 출력의 분산을 줄입니다.

제한사항

Gemini Robotics ER로 개발할 때는 다음 제한사항을 고려하세요.

• API 키 제한: Gemini API는 제한되지 않은 API 키의 요청을 허용하지 않으며 403 Forbidden 오류를 반환합니다. AI Studio에서 제한사항을 추가하여 API 키를 보호하세요. 자세한 내용은 제한되지 않은 API 키 보안을 참고하세요.
• 지연 시간과 성능: 복잡한 질문, 고해상도 입력 또는 높은 사고 수준은 처리 시간을 늘릴 수 있습니다. 사고 수준의 경우 지연 시간과 성능 간의 균형을 맞추려면 중간을 사용하세요.
• 할루시네이션: 모든 대규모 언어 모델과 마찬가지로 Gemini Robotics ER 모델도 때때로 '할루시네이션'을 일으키거나 잘못된 정보를 제공할 수 있습니다. 특히 모호한 프롬프트나 분포 외 입력의 경우에 그렇습니다.
• 프롬프트 품질에 대한 의존성: 출력 품질은 입력 프롬프트의 명확성에 따라 달라집니다. 구체적이고 잘 구성된 프롬프트를 사용하세요.
• 계산 비용: 특히 동영상 입력 또는 높은 thinking_budget로 모델을 실행하면 컴퓨팅 리소스가 소비되고 비용이 발생합니다. 자세한 내용은 생각하기 페이지를 참고하세요.
• 입력 유형: 각 모드의 제한사항에 관한 자세한 내용은 다음 주제를 참고하세요.
  • 이미지 입력
  • 동영상 입력
  • 오디오 입력

개인정보처리방침

귀하는 이 문서에 언급된 모델('로봇 공학 모델')이 귀하의 지시에 따라 하드웨어를 작동하고 이동하기 위해 동영상 및 오디오 데이터를 활용한다는 점을 인정합니다. 따라서 음성, 이미지, 유사성 데이터 ('개인 정보')와 같은 식별 가능한 개인의 데이터가 로봇 모델에 의해 수집되도록 로봇 모델을 작동할 수 있습니다. 귀하가 개인 정보를 수집하는 방식으로 로봇 모델을 운영하기로 선택한 경우, 식별 가능한 개인이 https://ai.google.dev/gemini-api/terms에 있는 Gemini API 추가 서비스 약관('약관')에 설명된 대로, 'Google에서 데이터를 사용하는 방식' 섹션에 따라 Google에 개인 정보가 제공되고 사용될 수 있다는 사실을 충분히 통지받고 이에 동의하지 않는 한, 식별 가능한 개인이 로봇 모델과 상호작용하거나 로봇 모델 주변에 있는 것을 허용하지 않는 데 동의합니다. 귀하는 이러한 알림이 '약관'에 명시된 대로 '개인 정보'의 수집 및 사용을 허용하도록 보장하며, 얼굴 흐리게 처리와 같이 식별 가능한 사람이 포함되지 않은 영역에서 '로봇 모델'을 운영하는 등의 기법을 사용하여 '개인 정보'의 수집 및 배포를 최소화하기 위해 상업적으로 합당한 노력을 기울입니다.

가격 책정

가격 및 사용 가능한 지역에 관한 자세한 내용은 가격 페이지를 참고하세요.

모델 엔드포인트

다음 단계

• 공간 추론: 가리키기, 추적, 경계 상자, 궤적
• 에이전트 기능: 코드 실행, 계측기 읽기, 이미지 주석
• 작업 조정: 맞춤 로봇 API를 사용하는 장기 작업
• 스트리밍을 사용하는 로봇 공학: 실시간 양방향 스트리밍 (Gemini Robotics ER 2만 해당)
• 동영상 이해: 순간 찾기 및 진행 상황 분류 (Gemini Robotics ER 2만 해당)
• Google DeepMind 로봇공학 안전 - 모델 제품군의 안전 연구