논문해석 - Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation

들어가며

원조 UMI 논문해석에서 상대 궤적 행동 표현을 다룰 때, 저자들은 이런 말을 남겼습니다. 과거 자세도 상대로 주면 시스템이 보정에서 자유로워져 로봇 몸통을 움직여도 성능이 유지되고, 따라서 이동형 조작기(mobile manipulator)에 쓸 수 있다는 것입니다. FastUMI는 반대로 이동형 조작기를 지원하지 못한다는 점을 한계로 명시했습니다.

Mobile UMI는 바로 그 지점을 파고듭니다. 그런데 실제로 사람이 걸어다니며 시연을 모아 보면, 원조 UMI가 예상하지 못한 두 개의 병목이 서로 얽혀 나타납니다.

📄 Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation — Haoran Huang, Haonan Dong, Huixu Dong / 2026-05-20, cs.RO, arxiv 식별자 2605.20894

초록 요약

휴대형 시연 장치로 이동조작(mobile manipulation)을 모방학습(imitation learning)할 때는 얽힌 두 병목이 있습니다. 첫째, 사람이 걸어다니면서 손을 움직이면 걷기(locomotion) 성분이 손 조작 행동 라벨에 섞여 들어갑니다. 둘째, 생성형 정책(generative policy)의 추론 지연 동안에도 베이스는 계속 굴러가 예측된 웨이포인트(waypoint)를 지나쳐 버려, 행동 이음새에서 뒤로 되돌아가는 보정이 강제됩니다.

Mobile UMI는 하드웨어 없이 동작하는 시연 프레임워크로, 세 요소로 두 병목을 함께 해결합니다. ① 가슴 중심의 전역 맥락과 손목 중심의 국소 상호작용을 로봇 없이 동시에 기록하는 듀얼 카메라 수집. ② 가슴과 손의 시각-관성(visual-inertial) 좌표계를 한 번에 통일하는 원샷 ChArUco 공간 앵커. ③ 생성된 행동 묶음(action chunk)을 로봇의 현재 실제 자세와 재정렬해 만료된 웨이포인트를 실행 전에 버리는 비동기 후퇴지평 실행기(asynchronous receding-horizon executor).

긴 시야(long-horizon) 가정용 작업 4종에서 작업당 100회 시행, 평균 성공률 83.8% 를 냈습니다.

그림 1 — Mobile UMI 프레임워크 개요

그림 1 — 왼쪽은 로봇 없는 듀얼 카메라 수집, 가운데는 VIO·ChArUco 공간 앵커·상대 자세 변환으로 궤적을 분리하는 오프라인 처리, 오른쪽은 지연을 보정하는 비동기 실행기입니다.

1. 첫 번째 병목 — 걷기가 손동작 라벨을 오염시킵니다

손목 시점 하나로는 베이스 주행에 필요한 전역 맥락(global context)을 담을 수 없습니다. 그렇다고 몸에 카메라를 달면, 이번엔 사람의 걷기와 손 동작이 한 궤적 안에서 엉킵니다.

여기서 Mobile UMI의 첫 처방이 나옵니다. 가슴과 손이 세계 좌표계에서 함께 움직일 때, 손 궤적을 가슴 기준으로 다시 표현하면 공유된 걷기 성분이 상쇄되고 순수 팔 동작만 남습니다.

애니메이션 로딩 중...

이 분해를 바탕으로 정책은 의미가 서로 다른 세 갈래 행동을 배웁니다.

갈래	표현	얻는 방법
베이스 주행	SE(2) — 평면 이동 + 방향	가슴 궤적을 지면에 투영
팔 조작	증분 SE(3) — 상대 손 자세 변화	걷기와 분리된 손목 동작
집게 제어	스칼라 개방량	두 손끝 ArUco 마커 사이 거리, 한 번의 개폐 보정으로 선형 매핑

원조 UMI가 로봇 좌표계 의존성을 없애려고 상대 궤적을 썼다면, Mobile UMI는 걷기 성분을 없애려고 한 겹 더 상대화한 셈입니다.

2. 두 번째 병목 — 추론하는 사이에도 베이스는 굴러갑니다

그림 2 — 시공간 지연 보정(비동기 상태 매칭)

그림 2 — Step 1은 관측 시각 추정 상태에서 예측 상태를 전방 롤아웃, Step 2는 예측 상태와 현재 측정 상태의 가중 불일치를 최소화하는 $i^*$ 선택, Step 3은 만료 웨이포인트를 버리고 $i^*$ 부터 실행하는 과정입니다.

생성형 정책은 다음 행동 묶음을 계산하는 데 수백 밀리초가 걸립니다. 그 사이에도 베이스는 계속 움직여, 묶음이 나올 즈음이면 로봇은 이미 앞부분 웨이포인트를 지나쳐 있습니다. 그대로 실행하면 로봇이 지나온 지점으로 되돌아가는 되돌림(rollback) 과 떨림(jitter) 이 생깁니다.

애니메이션 로딩 중...

해법은 세 단계입니다.

Step 1 — 전방 롤아웃: 관측 시각의 상태 추정값에서 출발해 예측 상태 시퀀스 $\{\hat{s}\}$ 를 시간 간격 $\delta$ 로 앞으로 굴립니다.
Step 2 — 가중 상태공간 정렬: 예측 상태와 현재 실제 측정 상태(오도메트리 + 자기수용감각) 사이의 가중 불일치를 최소화하는 인덱스 $i^*$ 를 고릅니다. 베이스는 SE(2) 거리, 팔 위치는 유클리드 거리, 회전은 SO(3) 거리, 집게는 스칼라 차이로 각각 가중합합니다.
Step 3 — 만료 웨이포인트 폐기: $i < i^*$ 인 이미 지나간 웨이포인트를 버리고 $i^*$ 부터 실행합니다.

원조 UMI의 지연 정합이 시간축에서 명령을 앞당겨 보내는 처방이었다면, Mobile UMI의 상태 매칭은 상태공간에서 이미 지나간 만큼을 잘라내는 처방입니다. 베이스가 계속 굴러가는 상황에서는 시간을 앞당기는 것만으로 부족하기 때문입니다.

3. 실험 — 라벨과 타이밍만으로 어디까지 가는가

작업당 100회 독립 시행 기준 성공률입니다. 표현(라벨)의 효과를 정책 종류에서 분리해 보기 위해, 각 기준선을 전역 손 자세 라벨과 가슴 기준 라벨 양쪽으로 학습시켰습니다. 모든 변형은 같은 시연·관측·학습 일정을 공유합니다.

방법	Tea Bag	Turn off light	Book	Household	평균(%)	평균 시간(s)
ACT (전역 라벨)	55	45	38	32	42.5	84.2
ACT (가슴 기준 라벨)	68	58	45	35	51.5	78.5
Diffusion Policy (전역 라벨)	65	56	50	39	52.5	78.6
Diffusion Policy (가슴 기준 라벨)	80	72	63	52	66.8	68.3
Mobile UMI (제안)	95	90	80	70	83.8	59.7
— 분리 표현 제거	30	20	15	10	18.8	N/A
— 지연 보정 제거	75	65	55	45	60.0	72.3

세 가지를 읽을 수 있습니다.

첫째, 라벨만 바꿔도 크게 오릅니다. 같은 Diffusion Policy인데 전역 라벨에서 가슴 기준 라벨로 바꾸면 52.5%에서 66.8%가 됩니다. 모델은 손도 대지 않았습니다.

둘째, 분리 표현이 지배적 기여입니다. 상태 매칭은 유지한 채 전역 라벨로 되돌리면 18.8%로 파국적 실패 합니다. 손 자세를 전역 좌표계에서 다루면 의도된 조작과 걷기로 인한 이동이 뒤섞여 일관된 조작 정책을 배울 수 없습니다.

셋째, 지연 보정이 마무리를 맡습니다. 분리 라벨은 유지한 채 상태 매칭만 빼면 83.8%에서 60.0%로 떨어집니다. 오래된 행동 묶음을 실행하면서 궤적 되돌림이 생기기 때문이며, Book placement(80→55%)와 Household Manipulation(70→45%)에서 타격이 가장 큽니다.

작업별 실행 장면

그림 3 — Tea Bag Placement 롤아웃

그림 3 — 윗줄은 성공 시퀀스(초기화, 탐색·파지, 회전, 컵에 넣기), 아랫줄은 모듈을 제거했을 때의 전형적 실패입니다.

그림 4 — Book Placement 롤아웃

그림 4 — 책을 집어 목표 위치에 놓는 작업으로, 지연 보정을 뺐을 때 타격이 가장 큽니다(80% → 55%).

그림 5 — Turn off the light 롤아웃

그림 5 — 벽에 달린 전등 스위치로 이동해 끄는 작업이며, 대표 실패 모드는 스위치를 못 건드림·충돌·잘못된 자세 셋입니다.

4. 실험 설정 (참고 수치)

시연 하드웨어 — 가슴과 손 모듈 모두 Orbbec Gemini 2L 카메라(색 영상 1280×800 @30 Hz + 6축 관성 센서 200 Hz, 통합 하드웨어 클럭). 손 모듈은 3D 프린팅 평행 조(parallel-jaw) 집게에 카메라를 고정하고, 두 손끝의 대칭 ArUco 마커로 집게 개방량을 시각 측정합니다.

실행 하드웨어 — AgileX Tracer 2.0 차동구동 베이스 + AgileX Piper 6자유도 팔(도달 626.75 mm, 반복정밀도 ±0.01 mm) + 시연 도구와 맞춘 평행 집게. 몸에 단 색 영상 카메라가 배포 시 가슴 시점을 재현합니다. 두 끝단은 실시간 링크를 공유하지 않아 로봇 없이 다양한 장면에서 데이터를 모을 수 있습니다.

동기화 — VIO·시각 검출·영상 흐름을 모두 10 Hz로 재표본(영상은 최근접, 위치는 선형 보간, 자세는 구면 선형 보간). 최근접 매칭의 최대 동기화 지연 16.6 ms는 센티미터 미만 오차로 관측 잡음에 흡수되며, Savitzky-Golay 필터로 평활합니다.

홀로노믹에서 논홀로노믹으로 — 시연의 홀로노믹 가슴 궤적을 논홀로노믹 베이스가 갈 수 있는 운동 부분다양체로 투영하고 측면 성분을 버립니다. 작업자는 전진·후진·제자리 회전만 하도록 프로토콜을 제한했고(측면 속도 0.99분위수 < 3 cm/s), 배포 시 저수준 제어기가 5 cm/s를 넘는 측면 속도를 잘라내고 시정수 0.2초 1차 저역통과 필터로 평활합니다.

관측과 행동 공간 — 관측 $o_t$ = (가슴 색 영상, 손 색 영상, 상태 $s_t$ , 이전 상태 증분). 행동 $a_t \in \mathbb{R}^{11}$ = 베이스 $(\Delta x, \Delta y, \Delta\theta;\ 3)$ + 팔 $(\Delta p, \Delta q;\ 7)$ + 집게 $(g;\ 1)$ .

학습 — RTX 4070(12 GB) 단일 GPU, AdamW, 배치 64, 작업당 20 세대, 작업마다 별도 신경망. 확산 일정은 학습 시 다단계, 추론 시 10 DDIM 단계입니다.

작업 4종과 시연 수 — Tea Bag Placement 50, Turn off the light 100, Book placement 100, Household Manipulation 200. 모두 단일 작업자가 동일 실험실(균일 상단 조명 500 lux)에서 수집했습니다.

5. 한계

전신 동역학적 힘 교환을 담지 못합니다. 운동학 분리의 근본적 한계입니다. 들고 이동하는 순차 작업에는 효과적이지만, 베이스가 팔의 렌치(wrench)에 반작용해야 하는 무거운 페이로드 조작에서는 순응성(compliance)이 최적이 아닐 수 있습니다.
향후 방향 — 저자들은 동역학적 힘 폐쇄(force-closure) 통합과, 더 풍부한 운동 프리미티브를 가진 논홀로노믹 플랫폼으로의 확장을 제시합니다.
일반화 검증 필요 — 단일 작업자·단일 실험실·고정 조명에서 수집·평가했고 작업마다 별도 신경망을 학습하므로, 다양한 환경과 조작자에 대한 일반화는 별도 검증이 필요합니다.

6. 정리 — 계보에서 Mobile UMI의 자리

Mobile UMI의 핵심 메시지는 개선 지점을 모델이 아니라 라벨과 실행 타이밍에 둔다 는 것입니다.

정책 신경망 구조를 전혀 바꾸지 않고, 데이터 라벨링 단계의 운동학 분리와 실행 단계의 상태 수준 지연 정렬만으로 이동조작 모방학습을 평균 83.8%까지 끌어올렸습니다. 곧 기존 정책(ACT, Diffusion Policy 등)에 그대로 얹어 쓸 수 있는 처방 이라는 뜻입니다.

계보로 보면 이 논문은 원조 UMI의 두 설계 — 상대 궤적 행동 표현과 지연 정합 — 를 각각 한 단계씩 밀어붙인 결과입니다. 상대화의 기준을 말단장치에서 가슴으로 옮기고, 지연 보정을 시간축에서 상태공간으로 옮겼습니다. FastUMI가 한계로 남긴 이동형 조작기 지원이 여기서 채워집니다.

계보의 출발점은 원조 UMI 논문해석에 있습니다.