논문해석 - Gemini Robotics: Bringing AI into the Physical World

들어가며

RT-2 논문해석에서 Google DeepMind는 웹 데이터로 학습한 시각-언어 모델(Vision-Language Model, VLM)을 로봇 데이터와 함께 미세조정해 행동 토큰을 내게 했습니다. 이후 계보는 공개 모델(OpenVLA), 연속 행동 생성(π0), 행동 토큰 압축(FAST), 새로운 환경으로의 일반화(π0.5) 쪽으로 이어졌습니다.

Gemini Robotics는 같은 회사가 자사의 최신 멀티모달 기반 모델인 Gemini 2.0을 출발점으로 삼아 만든 로봇 모델 계열입니다. 논문은 모델 두 개를 함께 발표합니다.

• Gemini Robotics-ER — Gemini 2.0 Flash에 물체 검출, 점 지정, 궤적·잡기 예측, 3차원 이해 같은 공간 능력을 더 학습시킨 VLM입니다. 행동을 직접 내지 않고 좌표나 코드를 텍스트로 냅니다.
• Gemini Robotics — Gemini Robotics-ER을 증류한 모델을 클라우드에서 실행하고, 로봇 컴퓨터에서 실행되는 행동 복호기를 붙여 행동 묶음을 직접 내는 VLA입니다.

이 글은 VLA 계보의 마지막 편입니다. 모델 크기와 행동 복호기의 내부 구조는 논문에 공개되지 않았으므로, 이 글도 논문이 밝힌 범위 안에서만 설명합니다.

📄 Gemini Robotics: Bringing AI into the Physical World — Gemini Robotics Team, Google DeepMind (전체 저자 목록은 논문의 기여자 절 참고), 2025-03-25 arxiv 공개

arxiv 식별자는 2503.20020이고, 이 글은 v1을 기준으로 합니다.

초록 요약

대형 멀티모달 모델은 디지털 영역에서는 넓은 범용 능력을 보였지만, 로봇 같은 물리적 행위자로 옮기는 일은 아직 어렵습니다. 쓸모 있는 로봇은 주변 물리 세계를 이해하고, 그 세계와 능숙하고 안전하게 상호작용해야 합니다. 이 보고서는 Gemini 2.0 위에 세운 로봇용 모델 계열을 소개합니다.

Gemini Robotics는 로봇을 직접 제어하는 범용 VLA 모델입니다. 부드럽고 반응성 있는 동작으로 다양한 조작 과제를 수행하고, 물체 종류와 위치의 변화, 처음 보는 환경, 형식이 정해지지 않은 지시에도 대응합니다. 추가 미세조정을 하면 종이접기로 여우 얼굴 접기나 카드 게임 같은 긴 정교한 과제를 해내고, 새 짧은 과제를 시연 100개 이하로 배우며, 양팔 산업용 로봇과 휴머노이드 같은 새 로봇에도 옮겨 갑니다.

이 능력의 바탕은 함께 발표한 Gemini Robotics-ER입니다. Gemini Robotics-ER은 Gemini의 멀티모달 추론을 공간·시간 이해 쪽으로 넓힌 모델로, 물체 검출, 점 지정, 궤적·잡기 예측, 다시점 대응, 3차원 경계 상자 예측을 합니다. 이 능력으로 로봇 코드 생성을 통한 제로샷(zero-shot) 제어와 문맥 내 학습(in-context learning)을 통한 퓨샷(few-shot) 제어도 합니다. 논문은 이런 로봇 기반 모델의 안전 문제도 함께 다룹니다.

그림 1 — Gemini 2.0이 가진 능력 위에 로봇 전용 학습과 선택적 전문화 단계를 더한 모델 계열입니다.

1. 문제 — 체화 추론과 행동 생성

논문은 로봇에 필요한 능력을 둘로 나눕니다.

첫째는 체화 추론(embodied reasoning, ER) 입니다. 논문의 정의는 "VLM이 물체와 공간 개념을 실제 세계에 대응시키고, 그 신호를 로봇 응용에 쓸 수 있게 종합하는 능력"입니다. 사진 속 컵이 어디 있는지, 손잡이는 어느 쪽인지, 두 카메라 영상에서 같은 물체가 어디에 보이는지, 물체의 3차원 크기와 방향은 어떤지를 아는 능력이 여기에 들어갑니다.

둘째는 그 이해를 실제 행동 으로 바꾸는 능력입니다. 접촉, 동역학, 힘 조절처럼 영상과 텍스트만으로는 배우기 어려운 부분입니다.

2. ERQA 벤치마크 — 체화 추론의 측정

벤치마크 구성

기존 VLM 벤치마크는 물체 인식, 개수 세기, 위치 찾기처럼 단일 능력을 주로 잽니다. 논문은 물리 세계에서 행동하는 데 필요한 능력을 묶어 재는 ERQA(Embodied Reasoning Question Answering) 를 새로 만들어 공개했습니다.

• 객관식 시각 질의응답(Visual Question Answering, VQA) 형식의 문항 400개
• 400개 중 28%(계산하면 112개)는 프롬프트에 이미지가 두 장 이상 들어갑니다. 여러 이미지 사이에서 같은 개념을 대응시켜야 하므로 한 장짜리 문항보다 어렵습니다.
• 문항은 모두 사람이 직접 라벨링했습니다. 이미지는 저자들이 직접 찍었거나 OXE, UMI Data, MECCANO, HoloAssist, EGTEA Gaze+에서 가져왔습니다.

그림 3 — 궤적 추론, 행동 추론, 공간 추론 문항의 예시이며 굵은 글씨가 정답입니다.

예를 들어 궤적 추론 문항은 여행 가방 지퍼 사진 위에 색이 다른 화살표 네 개를 그려 두고, 지퍼를 닫기 시작하려면 어느 화살표 방향으로 움직여야 하는지 묻습니다. 공간 추론 문항은 세면대 네 개가 있는 사진에서 보는 사람에게 가장 가까운 세면대를 가리키는 화살표를 고르게 하는데, 정답은 "어느 화살표도 아니다"입니다.

그림 4 — 400개 문항의 범주별 개수입니다.

다른 VLM과의 비교

표 1 — 체화 추론 관련 벤치마크의 객관식 정답률(%)입니다. 2025년 2월에 측정했습니다.

RealworldQA와 BLINK는 공간·이미지 이해를 재는 기존 벤치마크입니다. 세 벤치마크 가운데 ERQA의 점수가 가장 낮아, 저자들은 ERQA를 셋 중 가장 어려운 벤치마크로 봅니다. 여기서 Gemini 2.0 Pro Experimental은 2025년 2월 5일 판(02-05)을 가리킵니다.

사고 사슬 프롬프트의 효과

문항 끝에 "답을 한 단계씩 추론하고 각 단계의 근거를 보인 뒤에 최종 답으로 넘어가라"는 문장을 붙이는 사고 사슬(Chain-of-Thought, CoT) 프롬프트를 쓰면 점수가 오릅니다.

표 2 — ERQA 정답률(%)을 사고 사슬 프롬프트 사용 여부로 나눈 결과입니다.

CoT를 쓴 Gemini 2.0 Flash(50.3)는 CoT 없는 Gemini 2.0 Pro Experimental(48.3)보다 높습니다.

그림 5 — Gemini 2.0 Pro Experimental의 추론 과정이며, 빨간 답은 CoT 없이, 초록 답은 CoT로 얻었습니다.

두 예시 모두 CoT 없이 틀리고 CoT로 맞힌 문항입니다. 추론 과정에서 모델은 이미지 속 관측을 먼저 문장으로 짚고, 그 관측을 근거로 단계별 판단을 이어 갑니다.

3. Gemini Robotics-ER의 공간 이해 능력

그림 2 — 2D 물체·점 검출, 점을 이용한 잡기·궤적 예측, 다시점 대응, 3D 물체 검출 예시이며 모두 Gemini 2.0 Flash의 결과입니다.

논문은 Gemini 2.0이 원래 가진 능력과, 이를 더 학습시킨 Gemini Robotics-ER의 능력을 함께 보여 줍니다. 논문은 Gemini Robotics-ER을 "체화 추론을 강화한 Gemini 2.0 Flash의 한 버전"이라고만 설명하고, 어떤 데이터로 얼마나 더 학습했는지는 밝히지 않습니다.

좌표를 텍스트로 쓰는 방식

이 모델들은 좌표를 숫자 텍스트로 출력하며, 형식은 부록 B.1에 정해져 있습니다.

0~1000 정규화는 이미지 크기와 상관없이 좌표를 같은 범위로 쓰는 방식입니다. 가로 640, 세로 480 픽셀 이미지(임의의 예시 값)에서 모델이 상자 [250, 400, 600, 700]을 냈다면, 각 값을 1000으로 나누고 이미지 세로 또는 가로 크기를 곱해 픽셀 좌표를 얻습니다.

정규화 좌표는 임의의 예시 값이고, 픽셀 좌표는 계산한 값입니다.

$y$가 $x$보다 먼저 온다는 점이 흔한 $(x, y)$ 순서와 다르므로, 출력을 로봇 제어 코드로 넘길 때는 순서를 바꿔야 합니다.

2D 물체 검출

그림 6 — 왼쪽은 물체 범주, 가운데는 공간 설명, 오른쪽은 쓰임새로 물체를 검출한 결과입니다.

모델은 장면의 모든 물체를 검출할 수도 있고, 설명에 맞는 물체만 고를 수도 있습니다. "주방 도구를 모두 검출해"처럼 범주로 묻거나, "이미지 오른쪽의 견과류"처럼 위치를 붙여 묻거나, "쏟은 것과 그걸 닦는 데 쓸 수 있는 것"처럼 쓰임새로 물을 수 있습니다. 마지막 예에서 모델은 쏟은 자국과 수건을 함께 찾았고, 질문에는 "수건"이라는 단어가 없었습니다.

2D 점 지정

그림 7 — 자연어 질문으로 물체, 물체 부분, 빈 공간, 잡을 위치를 점으로 가리킨 Gemini 2.0 Flash의 결과입니다.

점 지정(pointing)은 경계 상자보다 더 좁은 위치를 표현합니다. 숟가락 손잡이 같은 물체의 한 부분, "팬 왼쪽 탁자의 빈 곳" 같은 공간 개념, "기존 캔 여덟 개의 배열에 맞춰 새 캔을 놓을 자리", "사람이 이 물건을 들 때 잡을 곳"(머그잔 손잡이) 같은 쓰임새를 모두 점으로 답합니다.

표 3 — 점 지정 정답률(%)입니다. 예측한 점이 정답 영역 마스크 안에 들어가면 1, 아니면 0으로 셉니다.

세 벤치마크는 성격이 다릅니다. Paco-LVIS는 자연 이미지에서 물체의 부분을, Pixmo-Point는 웹 이미지에서 자유로운 설명의 대상을, Where2Place는 실내 장면에서 물건을 둘 빈 공간을 가리키게 합니다. Pixmo-Point에는 마스크 정답이 없어서, 정답 점을 중심으로 반지름 25의 원을 마스크로 대신 썼습니다. Molmo는 점 지정에 특화된 VLM인데, Gemini Robotics-ER은 세 벤치마크 중 둘에서 Molmo보다 높고 Where2Place에서는 Molmo 72B(63.8)보다 낮습니다.

2D 궤적 예측

그림 8 — 시작점과 끝점을 먼저 예측하고 그 사이를 잇는 궤적을 만든 Gemini 2.0 Flash의 결과입니다.

궤적은 점 여러 개를 이은 것입니다. 사람 시점 영상에서 손이 도구까지 가는 경로를 만들거나, 쏟은 자국을 닦으려면 집게가 지나가야 할 경유점 목록을 만듭니다. 논문은 Gemini 2.0이 장애물 회피 같은 복잡한 운동 계획은 하지 못한다고 명시합니다.

위에서 내려 잡는 자세 예측

그림 9 — 점 지정 능력을 넓혀 위에서 내려 잡는 위치와 회전각을 예측한 Gemini Robotics-ER의 결과입니다.

잡기 예측은 Gemini Robotics-ER에서 새로 추가된 기능입니다. 같은 바나나라도 "꼭지를 잡아", "가운데를 잡아"처럼 요청에 따라 다른 잡기 자세를 냅니다. 출력은 앞의 표처럼 이미지 좌표 $y, x$와 회전각 $\theta$입니다.

다시점 대응

그림 10 — 왼쪽 이미지의 점 중 오른쪽 이미지에 보이는 점을 고르고 그 좌표를 예측한 Gemini 2.0 Flash의 결과입니다.

같은 장면을 다른 위치에서 찍은 두 이미지를 줍니다. 왼쪽 이미지에는 번호가 붙은 점들이 표시돼 있고, 오른쪽 이미지에는 표시가 없습니다. 모델은 왼쪽의 점 중 어느 것이 오른쪽에서도 보이는지 판단하고, 보이는 점의 오른쪽 이미지 좌표를 냅니다. 위 예에서는 시점이 크게 바뀌었는데도 사람이 손에 든 물체의 점을 맞게 찾았고, 아래 예에서는 주황색 점이 두 번째 이미지에서 보이지 않는다고 맞게 판단했습니다. 로봇의 머리 카메라와 손목 카메라처럼 여러 영상 흐름을 함께 해석할 때 필요한 능력입니다.

3D 경계 상자 검출

그림 11 — 단안 이미지 한 장에서 자유로운 설명의 물체에 대해 실제 크기의 3D 경계 상자를 예측한 Gemini 2.0 Flash의 결과입니다.

표 4 — SUN-RGBD 3D 물체 검출 결과이며, *ImVoxelNet은 더 쉬운 10개 범주 집합에서 잰 값입니다.

비교한 세 모델은 정해진 범주만 검출하는 전용 모델이고, Gemini는 자유로운 설명으로 질의합니다.

4. 행동 데이터 없는 로봇 제어

Gemini Robotics-ER은 로봇 행동 데이터로 학습하지 않았는데도 로봇을 제어할 수 있습니다. 논문은 방식 두 가지를 시험합니다. 실험 로봇은 양팔 ALOHA 2이고, 0.8 m × 0.4 m 탁자 양쪽에 팔이 하나씩 달려 있습니다.

코드 생성을 통한 제로샷 제어

그림 12 — 모델의 인식 능력을 도구로 노출한 API와, 코드 생성·실행·관측을 반복하는 제로샷 제어 흐름입니다.

모델에는 시스템 프롬프트, 로봇 API 설명, 과제 지시가 처음에 들어갑니다. API에는 get_grasp_pose, detect_object, open_gripper, close_gripper, move_gripper(gripper, position, orientation) 같은 함수가 있습니다. 물체 검출·점 지정·잡기 자세 예측 함수는 외부 모델을 부르지 않고 Gemini 자신이 계산합니다.

모델은 매 반복마다 현재 장면 이미지, 로봇 상태, 코드 실행 결과를 받고 다음 코드를 냅니다. 이 반복 덕분에 잡기가 실패하면 그것을 알아차리고 다시 시도할 수 있습니다.

그림 34 — 제로샷 제어 중 Gemini가 실패를 감지하고 다시 시도하는 출력이며, 주황색은 코드, 초록색은 분석입니다.

시스템 프롬프트(부록 B.3.2)는 과제마다 같고 지시만 바뀝니다. 프롬프트는 모델에게 ① 지시를 받고 ② 장면을 설명하고 ③ 물체 위치·크기와 로봇 제약을 고려해 단계를 계획한 뒤 ④ 단계마다 목표를 다시 적고 코드를 써서 실행하라고 요구합니다.

문맥 내 학습을 통한 퓨샷 제어

그림 13 — 시연 k개의 관측·추론·자세 궤적을 프롬프트에 넣고, 새 관측에 대한 추론과 궤적을 생성합니다.

정교한 동작은 코드 생성만으로는 어렵습니다. 이때는 원격조작 시연 $k$개를 텍스트로 바꿔 프롬프트에 넣습니다. 실험에서는 시연 10개를 씁니다. 시연 한 개는 세 부분으로 이루어집니다.

추론 시점에는 새 장면에서 추출한 키포인트가 들어가고, 모델은 먼저 "물체 B가 왼쪽에 있으니 왼팔로 한다" 같은 추론 문장을 쓴 뒤 양팔의 자세 궤적을 냅니다. 코드 대신 궤적을 직접 쓰는 방식입니다. 기존 방법(Di Palo and Johns, 2024)은 키포인트 추출에 외부 모델을 썼지만, 여기서는 Gemini Robotics-ER이 직접 추출합니다.

시뮬레이션 결과

표 5 — ALOHA 2 시뮬레이션 과제 성공률(%)이며, 무작위 초기 조건 50회 시행의 평균입니다.

그림 30 일부 — 바나나 들기와 과일 그릇 과제가 쓰는 시뮬레이션 환경입니다.

과제는 쉬운 것부터 여러 단계짜리까지 고릅니다. 바나나 들기는 바나나를 탁자에서 20 cm 들어 올리는 과제이고, 과일 그릇은 바나나·자두·레몬 세 개를 모두 그릇에 넣는 과제, 장난감 포장은 사자 인형을 상자에 넣고 양팔로 상자 날개를 닫는 과제입니다.

제로샷 코드 생성에서 Gemini Robotics-ER(53%)은 Gemini 2.0 Flash(27%)의 거의 두 배입니다. 저자들은 이를 체화 추론 능력이 좋을수록 로봇 제어 성능도 좋다는 근거로 봅니다. 문맥 내 학습을 쓰면 특히 바나나 건네기(54 → 96)와 장난감 포장(0 → 54)처럼 양팔 협응이 필요한 과제가 크게 오릅니다.

실제 로봇 결과

그림 31 일부 — 실제 ALOHA 2의 원피스 개기 과제 환경입니다.

표 6 — Gemini Robotics-ER의 실제 ALOHA 2 성공률(%)이며, 바나나 건네기는 10회, 원피스 개기와 닦기는 9회 시행입니다.

실제 로봇의 바나나 건네기는 보정 오차와 실제 환경의 잡음 때문에 시뮬레이션보다 낮습니다. 제로샷에서 원피스 개기는 0%인데, 논문은 충분히 정밀한 잡기 자세를 만들지 못하는 것을 주된 원인으로 봅니다. 문맥 내 학습 행의 평균 65는 세 과제 값으로 다시 계산하면 64.3이 나오며, 15절에서 다룹니다.

논문은 이 절을 VLM으로서의 한계로 마무리합니다. 체화 추론 결과를 로봇 행동으로 바꾸려면 중간 단계(코드, 자세 텍스트)가 필요하고, 이 중간 단계가 정교한 과제의 성능을 제한합니다. 다음 절의 Gemini Robotics는 이 중간 단계 없이 행동을 직접 냅니다.

5. Gemini Robotics 모델 구조

그림 14 — 멀티모달 프롬프트를 클라우드 백본과 로컬 행동 복호기가 차례로 처리해 로봇에 보낼 행동 묶음을 냅니다.

입력과 출력

입력은 현재 장면 이미지 여러 장, 로봇의 고유 감각(proprioception) 상태, 과제 지시로 이루어진 멀티모달 프롬프트입니다. 그림 14의 프롬프트 형식은 RT-2와 비슷한 질문 형태입니다.

Given <이미지> and proprioception {proprio}.
Q: What action should the robot take to {task, 예: close the laptop}?

출력은 로봇이 실행할 행동 묶음(action chunk) 입니다. 부록의 모델 카드는 Gemini Robotics의 출력을 "로봇 행동에 관한 텍스트"라고 적지만, 그 텍스트를 연속 행동으로 바꾸는 방식이나 행동 묶음의 길이는 논문에 나오지 않습니다.

클라우드 백본과 로컬 행동 복호기

Gemini Robotics-ER 같은 큰 VLM은 추론이 느리고 특수 하드웨어가 필요해서 로봇 컴퓨터에서 실행하기 어렵고, 지연 시간이 실시간 제어에 맞지 않습니다. Gemini Robotics는 모델을 두 부분으로 나눠 이 문제를 풉니다.

그림 14에서 로봇 이미지와 상태는 프롬프트(백본 입력)로도 가고, 행동 복호기로도 직접 들어갑니다. 논문의 지연 수치를 로봇 명령 개수로 환산하면 아래 표가 됩니다.

행동 개수는 논문 수치로 계산한 값입니다.

250 ms가 지나는 동안에도 로봇은 멈추지 않고 이전에 받은 행동 묶음의 뒷부분을 실행해야 50 Hz로 움직일 수 있습니다. 논문은 행동 묶음을 이어 붙이는 방법을 설명하지 않고, 행동 묶음을 쓰는 근거로 ACT(Zhao et al., 2023)를 인용합니다. RT-2가 55B 모델을 클라우드에서 실행해 1–3 Hz로 제어했던 것과 비교하면, 모델을 클라우드에 둔다는 설계는 같고 로봇 쪽 복호기와 행동 묶음으로 제어 주파수를 올린 것이 다릅니다.

모델 카드(부록 표 7)에 따르면 학습 하드웨어는 TPU v4, v5p, v6e이고 소프트웨어는 JAX와 ML Pathways입니다. 백본과 복호기의 파라미터 수는 공개되지 않았습니다.

6. 학습 데이터와 비교 모델

학습 데이터

모델 카드는 데이터 전처리로 개인 정보·민감 데이터 자동 필터링과, Gemini 및 FlexCap으로 만든 합성 캡션을 원래 캡션과 함께 붙이는 방법을 적습니다. 정확한 시간 수, 과제 수, 데이터 혼합 비율은 공개되지 않았습니다.

비교 모델

π0는 원래 저자들이 가중치를 공개한 모델입니다. 논문은 자기 데이터로 학습한 π0 re-implement가 공개 체크포인트(π0 openpi)를 그대로 쓴 경우보다, 그리고 과제별로 미세조정한 π0 openpi보다 성능이 좋아서 재구현 결과를 보고한다고 밝힙니다. 비교 모델 두 개는 Nvidia RTX 4090 한 장이 달린 워크스테이션에서 실행되고, Gemini Robotics는 주로 클라우드에서 실행됩니다. π0의 구조는 π0 논문해석에서 다룹니다.

평가 방식

실제 로봇 실험은 조명 변화, 네트워크 지연, 모터 마모 때문에 결과가 흔들립니다. 논문은 이를 줄이려고 A/B 시험 을 씁니다.

진척 점수는 과제를 얼마나 끝냈는지를 연속값으로 매깁니다. 일반화 평가의 "왼쪽 위 초록 포도를 회색 상자의 오른쪽 칸에 넣어라" 과제는 이렇게 채점합니다.

부록 C.1.3.3의 채점 기준입니다.

7. 실험 1 — 기본 성능

그림 15 — 위에서부터 안경집 열기, 콩 붓기, 서류철 풀기, 헤드폰 선 감기 과제의 실행 장면입니다.

과제별 미세조정이나 추가 프롬프트 없이, 학습 데이터에서 뽑은 짧은 과제 20개로 평가합니다. 세탁실(바지 개기), 주방(계량컵 쌓기), 어지러운 사무실 책상(분홍 서류철 열기), 일상 활동(안경집 열기)처럼 장면이 다양하고, 단순 집어 놓기부터 양손 협응이 필요한 변형 물체 조작까지 정교함 수준도 다양합니다.

그림 16 — 학습 데이터에서 뽑은 20개 과제에 대한 세 모델의 성공률입니다.

그림 16 막대에 숫자가 인쇄돼 있지 않아 눈금에서 읽은 대략값이며, 단위는 성공률(0~1)입니다.

Gemini Robotics는 20개 중 10개 과제에서 0.8 이상입니다. 분홍 천 개기와 헤드폰 선 감기 같은 변형 물체 조작에서 차이가 크고, 빨간 블록 끼우기와 헤드폰 선 감기에서는 Gemini Robotics만 0보다 큽니다. 신발에 끈 끼우기처럼 가장 정교한 과제는 다중 과제 학습만으로는 여전히 풀지 못하며, 10절의 전문화로 다룹니다.

그림 35 — 그림 16 평가에 쓴 20개 과제의 지시문과 초기 장면 예시입니다.

8. 실험 2 — 언어 지시 따르기

"파란 클립을 노란 포스트잇 오른쪽에 놓아라"처럼 정확히 따라야 하는 지시 25개를 장면 5개에서 평가합니다. "탁자를 치워" 같은 추상적 지시가 아니라, 대상과 위치를 구체적으로 지정한 지시입니다. 장면에는 학습에 있던 물체가 놓인 장면과, 학습에 없던 물체와 용기가 놓인 장면이 섞여 있습니다.

그림 17 — 왼쪽은 학습에 있던 물체의 사무실 장면, 가운데는 새 물체의 주방 장면, 오른쪽은 새 물체에 대한 세부 지시의 성공률입니다.

그림 17 오른쪽 막대에 인쇄된 값입니다.

학습 분포 안의 단순한 장면에서도 Gemini Robotics와 π0 re-implement가 확산 정책보다 높아, 저자들은 지시를 따르려면 강한 언어 인코더가 필요하다고 봅니다. 새 물체와 세부 지시(예: "치약을 정리함 아래 칸에 넣어라")에서는 Gemini Robotics만 높습니다. PaliGemma 기반인 π0 re-implement는 학습에 있던 물체에는 제대로 다가가지만, "위쪽 검은 용기", "파란 클립" 같은 속성 설명을 해석하지 못하고 새 물체 과제에 실패했습니다.

그림 36 — 지시 따르기 분석에 쓴 장면과 지시의 예시입니다.

9. 실험 3 — 일반화

세 가지 변화 축

그림 18 — 가장 왼쪽이 학습 분포 장면이고, 오른쪽으로 새 방해 물체, 다른 배경, 다른 조명 조건입니다.

그림 19 — 가장 왼쪽이 학습 분포 지시이고, 오른쪽으로 오타, 다른 언어, 다른 문장·설명 수준입니다.

그림 20 — 왼쪽은 학습 분포와 다른 초기 위치, 오른쪽은 다른 물체 개체이며 원피스는 S가 학습 분포, M과 XS가 새 개체입니다.

벤치마크는 과제 85개로 이루어지고, 20%가 학습 분포 안, 28%가 시각 일반화, 28%가 지시 일반화, 24%가 행동 일반화입니다. 시각·지시 일반화는 도시락 가방에 물건을 넣는 장면의 과제 4개에서, 행동 일반화는 여러 장면의 과제 6개에서 변형을 만듭니다.

결과

그림 21 — 세 가지 일반화 축에서 세 모델의 평균 진척 점수입니다.

그림 21 막대에 인쇄된 진척 점수입니다.

Gemini Robotics는 세 축 모두에서 비교 모델보다 높습니다. 새 언어 지시처럼 비교 모델이 거의 0에 가까운 조건(π0 re-implement 0.04)에서도 0.68을 냅니다. 저자들은 Gemini 2.0의 최신 시각 인코더를 포함한 더 크고 강한 VLM 백본과 다양한 학습 데이터를 이유로 추정합니다.

분포 밖 평균은 하위 항목 값의 단순 평균과 일치하지 않는 경우가 있습니다(15절). 논문은 평균을 어떤 가중치로 냈는지 밝히지 않습니다.

그림 40 — 그림 21과 같은 평가를 성공률로 나타낸 결과이며, 세 축 모두에서 Gemini Robotics가 가장 높습니다.

10. 전문화 1 — 긴 정교한 과제

과제

그림 22 — 위에서부터 종이접기 여우, 도시락 가방 싸기, 철자 보드게임, 카드 게임, 집게로 완두콩 넣기, 견과류 넣기입니다.

과제마다 고품질 시연을 2000~5000 에피소드 모으고, 3절의 Gemini Robotics 체크포인트를 과제별로 미세조정합니다. 비교 모델도 같은 데이터로 미세조정하고, 다양한 데이터의 효과를 보려고 단일 과제 확산 정책과 Gemini Robotics를 처음부터 학습한 모델도 만듭니다. 과제마다 모델당 20회 시행하고, 철자 게임만 12회(인쇄 그림 6회, 손 그림 6회) 시행합니다.

결과

그림 23 — 전문화 후 긴 정교한 과제 6개의 성공률입니다.

그림 23 막대에 인쇄된 값입니다.

• 전문화한 Gemini Robotics의 여섯 과제 평균 성공률은 79%입니다. 인쇄된 여섯 값의 평균을 계산하면 0.788로 일치합니다.
• 철자 게임의 0.83은 12회 중 10회 성공입니다(계산한 값). 학습 데이터에 있는 인쇄 그림은 모두 맞혔고, 학습에 없는 손 그림 6개 중 4개를 맞혔습니다.
• 견과류 퍼기, 카드 게임, 완두콩 넣기처럼 쉬운 과제에서는 처음부터 학습한 단일 과제 확산 정책도 비슷한 수준이고, 완두콩 넣기에서는 더 높습니다. 긴 과제인 철자 게임, 종이접기, 도시락 가방에서는 단일 과제 확산 정책이 낮습니다.
• Gemini Robotics를 3절 체크포인트 없이 전문화 데이터로 처음부터 학습하면 여섯 과제 모두 0%였고, 그래프에는 넣지 않았습니다.

저자들은 마지막 결과를 두고, 모델 구조의 용량만으로는 부족하고 3절의 다양한 로봇 행동 데이터에서 배운 표현이 긴 정교한 과제로 전문화하는 데 필요하다고 해석합니다.

그림 42 — 그림 23과 같은 평가의 평균 진척 점수이며, 철자 게임을 뺀 모든 과제에서 모든 방법이 0보다 큰 진척을 보입니다.

진척 점수로 보면 Gemini Robotics는 완두콩 넣기의 단일 과제 확산 정책을 뺀 모든 비교에서 앞섭니다. 종이접기 여우의 진척 점수는 접기 한 번마다 0.25씩 올라가고, 첫 접기를 시도만 해도 0.1을 받습니다.

11. 전문화 2 — 추론 강화와 일반화

방법

VLA는 시각적 강건성은 꾸준히 좋아졌지만, VLM이 원래 가진 추상적 추론 능력을 유지해 행동 일반화에 쓰는 데는 여전히 어려움이 있다고 논문은 기존 연구(Brohan et al., 2023; Kim et al., 2025)를 들어 지적합니다. 논문은 3절의 로봇 행동 데이터에 다시 라벨을 붙여, 행동 예측을 Gemini Robotics-ER의 궤적 이해·생성 능력과 연결합니다. 로컬 행동 복호기는 이 중간 추론 결과를 연속 저수준 행동으로 바꾸도록 확장합니다. 논문은 새 라벨의 정확한 형식은 설명하지 않고, 그림 25에서 모델이 내부 추론으로 쓰는 키포인트 궤적을 보여 줍니다.

그림 25 — 추론 강화 모델이 내부 사고 사슬로 예측한 다음 1초 동안의 왼팔(빨강)·오른팔(파랑) 이동 경로입니다.

평가 과제

평가는 학습 분포 밖의 실제 로봇 과제 8개에서 두 모델을 합쳐 100회 시행합니다. 과제들은 3절의 시각·지시·행동 변화를 동시에 요구합니다.

부록 D.2의 과제 설명입니다.

결과

그림 24 — 다시 라벨을 붙인 데이터로 미세조정한 추론 강화 모델과 기본 Gemini Robotics의 성공률입니다.

그림 24 막대에 인쇄된 값입니다.

기본 모델도 0이 아닌 성공률을 내지만, 추론 강화 모델은 여덟 과제 모두에서 더 높습니다. 성능 외에 모델이 중간 궤적을 출력하므로, 사람이 모델의 판단 과정을 확인할 수 있다는 장점도 논문이 함께 꼽습니다.

12. 전문화 3 — 적은 시연으로 새 과제 적응

10절의 긴 과제에서 짧은 구간 8개를 떼어 새 과제로 삼습니다. 3절의 Gemini Robotics 체크포인트는 10절의 시연을 한 번도 보지 않았으므로 새 과제 적응 시험이 됩니다. 시연 5개, 20개, 100개로 각각 미세조정하고, 점마다 10회 시행의 평균 성공률을 냅니다.

그림 26 — 미세조정에 쓴 시연 수에 따른 과제별 성공률입니다.

그림 26의 점을 눈금에서 읽은 대략값이며, 단위는 성공률(0~1)입니다.

시연 100개는 과제 복잡도에 따라 15분에서 1시간 분량입니다. Gemini Robotics는 두 과제(Put container in lunch-box, Pour lettuce)에서 100%에 도달합니다. 비교 모델은 쉬운 과제에서 경쟁력이 있어서, Pour lettuce는 더 적은 시연으로 배우고, Salad dressing과 Draw card에서는 π0 re-implement가 조금 더 높습니다. Origami first fold와 도시락 가방 과제처럼 어려운 과제에서는 비교 모델이 적은 시연으로 성능을 내지 못합니다.

그림 41 — 공개 체크포인트 π0 openpi를 추가한 결과이며, 8개 중 5개 과제에서 π0 openpi와 π0 re-implement가 비슷하고 나머지 3개는 재구현이 더 높습니다.

13. 전문화 4 — 새 로봇 적응

ALOHA 2 데이터로 학습한 Gemini Robotics를, 대상 로봇의 적은 데이터로 새 로봇에 맞춥니다. 논문은 이 절을 예비 실험이라고 부릅니다.

그림 27 — 위는 Apollo 휴머노이드의 도시락 가방 싸기, 아래는 양팔 산업용 로봇의 풀리 벨트 조립입니다.

그림 44 — 위에서부터 테이프 걸기, 플러그 꽂기, 둥근 벨트 조립, 타이밍 벨트 조립입니다.

타이밍 벨트 조립은 파란 손잡이를 약 40 N의 힘으로 올바른 방향으로 당겨야 벨트가 풀리에 들어가는 과제입니다. 학습 분포 안 과제에서 적응한 Gemini Robotics의 성공률은 단일 과제 확산 정책과 비슷하거나 조금 높고, 양팔 Franka의 네 과제 평균 성공률은 63%입니다. 분포 안 평가는 과제마다 20회 시행합니다.

그림 28 — 양팔 Franka에 적응한 Gemini Robotics와 단일 과제 확산 정책의 시각·행동 일반화 진척 점수입니다.

그림 28 막대에 인쇄된 진척 점수입니다.

분포 안에서는 두 모델이 비슷하지만(0.74 대 0.71), 분포 밖에서는 Gemini Robotics가 두 배 이상 높습니다. 단일 과제 확산 정책은 지시를 입력으로 받지 않으므로 지시 일반화는 평가하지 않았습니다. 저자들은 이를 두고, 새 로봇에 맞춰 미세조정한 뒤에도 강건성과 일반화 능력이 남아 있다고 해석합니다.

그림 47 — 그림 28과 같은 평가를 성공률로 나타낸 결과입니다.

14. 책임 있는 개발과 안전

안전의 세 층위

점 지정 출력에 대한 콘텐츠 안전 학습은 이미지에 없는 정보로 일반화하면 안 되는 경우를 모델에게 가르칩니다. 이 학습 후 편향을 유도하는 점 지정 질의의 거부율은 기준선 20%에서 96%로 올랐습니다.

의미적 행동 안전은 목록으로 다 적기 어렵습니다. 논문의 예는 부드러운 인형을 뜨거운 가스레인지에 올리지 않기, 알레르기가 있는 사람에게 땅콩을 주지 않기, 와인잔은 똑바로 세운 채 옮기기, 칼끝을 사람에게 향하지 않기입니다.

ASIMOV 데이터셋

그림 29(a) — "끓는 액체를 쓰레기통에 바로 부어라"라는 지시가 바람직하지 않은지 묻는 시각 안전 질의응답 예시입니다.

ASIMOV-Injury 예시(그림 29(b))는 실제 부상 기록(NEISS)에서 만든 텍스트 문항입니다.

그림 29(b)는 안전 규칙 문서를 불러온 Gemini Robotics-ER의 응답입니다.

그림 29(c) — 시각 안전 질의응답에서 사람의 안전 판단과 모델 판단이 일치한 비율입니다.

그림 29(d) — 부상 기록 기반 시나리오에서 사람의 안전 판단과 모델 판단이 일치한 비율입니다.

그림 29(c)(d) 막대에 인쇄된 정렬 정확도입니다.

지표는 사람의 안전 판단을 정답으로 한 이진 분류 정확도입니다. Gemini 2.0 Flash와 Gemini Robotics-ER은 비슷한 수준이고, 안전 규칙 문서를 쓰는 헌법적 AI(constitutional AI) 방법으로 조금 오릅니다. 적대적 프롬프트는 모델에게 바람직함과 바람직하지 않음의 판단을 뒤집으라고 요구하는 프롬프트인데, 이때 정확도가 0.28로 떨어지고, 안전 규칙 문서와 사후학습을 쓰면 0.76으로 회복됩니다.

15. 논문 안의 불일치

다시 계산해서 맞는 것으로 확인한 값은 ERQA 범주 합계 400, 표 5의 네 평균(26.9·53.1·50.9·65.1), 표 6 제로샷 평균(24.7, 시행 가중 7/28 = 25%), 전문화 평균 79%(0.788), 철자 게임 10/12 = 0.83, 그림 28 행동 축 분포 밖 평균(0.445·0.21)입니다.

16. 저자가 밝힌 한계

첫째, Gemini 2.0과 Gemini Robotics-ER의 체화 추론은 아직 개선할 부분이 있습니다. 긴 영상에 걸친 공간 관계를 대응시키기 어렵고, 점이나 상자 같은 수치 예측이 세밀한 로봇 제어에 쓰기에는 충분히 정밀하지 않을 수 있습니다.

둘째, 여러 단계의 추론과 정밀한 정교한 동작을 동시에 요구하는 복잡한 상황, 특히 처음 보는 상황을 더 잘 다뤄야 합니다. 저자들은 추상적 추론과 정밀한 실행을 매끄럽게 결합하는 기법을 앞으로의 과제로 둡니다.

셋째, 시각적으로 다양하고 접촉이 많은 데이터를 시뮬레이션으로 만들고, 그 데이터로 실제 세계에 옮겨 가는 VLA를 학습하는 방향을 더 탐색할 계획입니다.

넷째, 여러 로봇 실험을 넓혀 새 로봇 적응에 필요한 데이터를 줄이고, 최종적으로는 새 로봇에 추가 데이터 없이 기술을 옮기는 제로샷 교차 몸체 전이를 목표로 합니다.

17. 정리 — VLA 계보에서의 위치

• 체화 추론 VLM — Gemini Robotics-ER은 점 지정, 궤적·잡기 예측, 다시점 대응, 3D 검출을 한 모델에서 텍스트 좌표로 내고, 새 벤치마크 ERQA와 점 지정·3D 검출 벤치마크에서 이를 측정했습니다. 코드 생성과 문맥 내 학습으로 행동 데이터 없이 로봇을 제어해 시뮬레이션 평균 53%(제로샷)와 65%(문맥 내 학습)를 냈습니다.
• 클라우드 백본과 로컬 복호기 — Gemini Robotics는 ER을 증류한 백본을 클라우드에서 160 ms 미만으로 실행하고, 로봇 쪽 행동 복호기가 지연을 보상해 종단간 약 250 ms, 실효 50 Hz로 제어합니다.
• 일반화와 전문화 — 기본 모델은 지시·시각·행동 일반화에서 π0 re-implement와 Multi-task diffusion보다 높았고, 전문화하면 긴 정교한 과제 여섯 개 평균 79%, 시연 100개 이하의 새 과제 적응, 추론 강화, 양팔 Franka·Apollo 휴머노이드 적응까지 이어졌습니다.
• 공개 범위 — 모델 크기, 행동 복호기 구조, 데이터 규모의 정확한 수치, 가중치는 공개되지 않았습니다. ERQA 벤치마크와 ASIMOV 데이터셋은 공개했습니다.

VLA 계보 전체 비교

RT-2의 공동 미세조정은 웹 지식을 로봇 제어에 넣으려는 시도였고, PaLM-E는 그보다 앞서 로봇 관측을 언어 모델에 넣어 상위 계획을 세웠습니다. Gemini Robotics는 같은 회사 계보에서 두 방향을 모두 이어받습니다. Gemini Robotics-ER이 PaLM-E처럼 텍스트로 공간 판단과 계획을 내고, Gemini Robotics가 RT-2처럼 그 VLM에서 행동을 직접 냅니다. 그 사이에 로봇 쪽 복호기와 행동 묶음을 넣어 큰 모델을 클라우드에 둔 채 50 Hz 제어를 한다는 점이 RT-2와 가장 크게 다릅니다.

전체 목록은 VLA 계보 목차에서 볼 수 있습니다.