들어가며
원조 UMI 논문해석의 마지막 한계 목록에는 촉각 이야기가 없습니다. UMI는 처음부터 눈으로 보는 정보만 다뤘기 때문입니다. 그런데 병뚜껑을 열거나 구멍에 핀을 끼우는 것처럼 접촉이 많은(contact-rich) 작업에서는, 눈으로 보이지 않는 순간에 손끝이 무엇을 느끼느냐가 성패를 가릅니다.
exUMI는 이 빈틈을 정면으로 겨냥합니다. 그런데 촉각을 다루려는 순간 두 개의 벽이 동시에 나타납니다. 촉각 데이터는 희귀하고(scarce) 접촉 순간에만 드문드문 잡혀 희소하며(sparse), 기존 시연 수집 시스템에는 애초에 힘 피드백(force feedback)이 없습니다. exUMI는 이 둘을 하드웨어와 알고리즘을 함께 설계(co-design) 해서 뚫습니다.
📄 exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation — Yue Xu, Litao Wei, Pengyu An, Qingyu Zhang, Yong-Lu Li / 2025-09-18, cs.RO, arxiv 식별자 2509.14688
하드웨어·데이터·코드가 프로젝트 페이지 silicx.github.io/exUMI에 오픈소스로 공개돼 있습니다.
초록 요약
exUMI는 기본 UMI를 확장한 데이터 수집 장치입니다. 증강현실 동작 포착(AR MoCap)과 회전 엔코더(rotary encoder)로 튼튼한 자기수용감각(proprioception)을 얻고, 모듈형 시각-촉각 감지(visuo-tactile sensing)와 자동 보정(automated calibration)을 붙여 데이터 사용 가능률 100% 를 달성했습니다. 알고리즘 쪽은 촉각 예측 사전학습(Tactile Prediction Pretraining, TPP) 입니다. 백만 프레임이 넘는 촉각 데이터 위에서, 행동을 인지하며(action-aware) 미래 촉각 신호를 시간적으로 예측하는 방식으로 접촉 동역학(contact dynamics)을 포착하고, 특정 작업에 얽매이지 않는(task-agnostic) 표현을 만듭니다. 실제 환경 실험에서 TPP가 전통적 촉각 모방학습(imitation learning)을 능가했습니다.
그림 1 — 왼쪽은 UMI를 확장한 exUMI 하드웨어, 가운데는 로봇 행동을 조건으로 촉각 동역학을 부호화하는 시간적 촉각 예측, 오른쪽은 여러 실제 로봇 작업에서의 평가입니다.
1. 하드웨어 — 자기수용감각을 쪼갭니다
그림 2 — 자기수용감각을 AR 동작 포착과 정밀 그리퍼 폭 측정용 회전 엔코더로 분리(disentangle)했습니다. 자동 지연 보정을 갖춘 중앙 제어기가 이동성을 유지한 채 추가 센서를 통합합니다.
핵심 설계는 자기수용감각의 분리 입니다. 기존 UMI는 카메라 SLAM 하나로 그리퍼의 위치·자세와 폭을 함께 추정했는데, 여기서 실패가 잦았습니다. exUMI는 이를 둘로 쪼갭니다.
| 측정 대상 | 원조 UMI | exUMI |
|---|---|---|
| 손목 위치·자세 | 카메라 SLAM (ORB-SLAM3) | AR 동작 포착 (VR 헤드셋 기반) |
| 그리퍼 벌림 폭 | 기준 마커(ArUco) 시각 추적 | AS5600 자기 엔코더 |
| 센서 시간 정렬 | 수동 지연 측정 | 중앙 제어기(Orange Pi) 자동 보정 |
| 촉각 | 없음 | 손끝 양쪽 시각-촉각 센서 |
왜 이렇게까지 나눴는지는 다음 그림들이 설명합니다.
그림 3 — 특징이 없는 깨끗한 배경, 그리고 가림(occlusion)입니다.
무늬 없는 깨끗한 배경이나 손과 물체에 의한 가림 상황에서 SLAM과 마커 검출이 무너집니다. 그래서 자세를 AR 동작 포착으로 따로 확보합니다.
그림 4 — 그리퍼는 완전한 평행이 아니라 비평행(non-parallel)으로 벌어집니다.
그리퍼가 비평행으로 벌어지므로 손끝의 열림 폭을 각도-변위 관계로 정확히 환산해야 합니다. 엔코더 기반 측정이 필요한 이유입니다.
그림 5 — 서로 다른 센서가 서로 다른 시간 지연을 갖는 문제를, 신호를 정렬해 자동으로 보정합니다.
이 자동 지연 보정이 데이터 사용 가능률 100% 를 떠받치는 장치입니다. 원조 UMI가 지연 정합(latency matching)을 사람이 물리적으로 측정해 맞췄다면, exUMI는 그 과정을 장치 안으로 넣었습니다.
2. 알고리즘 — 미래의 접촉을 맞히며 배웁니다
그림 6 — 표현 모델 는 시간적 촉각 예측 과제로 학습됩니다. 과거 촉각 특징과 행동 특징을 융합해 잠재 확산 모델(latent diffusion model, LDM)로 미래 촉각 특징을 예측하고, 미래 행동과 현재 이미지가 노이즈 제거(denoising)의 조건이 됩니다.
이 논문의 심장입니다. 촉각 부호기 를 그냥 분류로 학습하는 대신, 과거의 촉각과 앞으로 할 행동으로 미래의 촉각을 맞히는 예측 과제로 학습합니다.
이렇게 하면 부호기가 접촉이 어떻게 변하는지를 담게 되어, 접촉 순간에만 신호가 잡히는 촉각 희소성 문제가 완화됩니다. 그냥 하는 말이 아니라, 무엇을 입력으로 줄 때 미래 촉각을 잘 맞히는지 직접 재봤습니다.
| 과거 촉각 | 행동 입력 | 색 영상 | 예측 오차 (MSE) |
|---|---|---|---|
| ✗ | ✓ | ✓ | 0.0298 |
| ✓ | ✗ | ✗ | 0.0132 |
| ✓ | ✗ | ✓ | 0.0125 |
| ✓ | ✓ | ✗ | 0.0117 |
| ✓ | ✓ | ✓ | 0.0099 |
과거 촉각을 빼면 오차가 세 배로 뜁니다. 그리고 행동 입력을 더하면 오차가 줄어듭니다. 행동을 인지하는 예측이 실제로 도움이 된다는 근거입니다.
그림 7 — 검증셋(validation set)에서 TPP가 예측한 미래 촉각입니다.
접촉으로 실리콘 젤이 눌린 패턴이 시간에 따라 어떻게 변하는지를 모델이 그럴듯하게 예측합니다.
3. 실험 — 수집 효율과 정책 성능
비촉각 작업의 수집 효율
exUMI로 모은 데이터로 학습한 정책의 성공률입니다. †는 환경 리셋을 포함한 전체 시연 수집 시간입니다.
| 작업 | 시연 수 | 수집 시간 † | 성공률 |
|---|---|---|---|
| Pick Cube | 204 | 42 min | 85% |
| Pick Carrot | 135 | 31 min | 80% |
| Pick Broccoli | 170 | 47 min | 60% |
| Stack Cube | 201 | 26 min | 60% |
| Insert Pen | 139 | 60 min | 65% |
| Put Ball | 181 | 66 min | 70% |
| Open Bottle | 270 | 79 min | 20% |
| Pull Drawer | 202 | 70 min | 40% |
| Peg in Hole | 163 | 56 min | 50% |
촉각이 실제로 값을 하는 지점
각 작업의 세부 단계별 성공률입니다.
| 입력 표현 | Put Ball (Empty) | Put Ball (Random) | Open Bottle | Pull Drawer (Grasp) | Pull Drawer | Peg in Hole (Insert) |
|---|---|---|---|---|---|---|
| 시각만 | 70% | 20% | 100% | 40% | 100% | 50% |
| 시각 + 촉각 | 70% | 50% | 100% | 50% | 100% | 60% |
| 시각 + 촉각 + TPP (제안) | 85% | 60% | 100% | 95% | 100% | 80% |
주목할 곳은 Pull Drawer의 파지(Grasp) 단계입니다. 시각만으로 40%, 촉각을 그냥 더해도 50%인데, TPP로 학습한 촉각 표현을 쓰면 95% 가 됩니다. 촉각 신호를 넣는 것과 촉각 신호를 제대로 표현하는 것은 다른 문제라는 뜻입니다.
그림 8 — 노란 화살표는 접선력(tangent force)으로, 압력으로 오목해진 빨간 영역에서 실리콘 젤이 볼록하게 솟은 초록 영역 쪽을 가리킵니다.
미끄러짐이나 접촉 방향 같은, 접촉이 많은 상황의 정보가 실제로 정책에 쓰인다는 증거입니다.
표현학습 방식 비교
TPP를 직접 학습(Direct)과 자기지도학습(BYOL)과 비교했습니다. V는 시각, T는 촉각입니다.
| 작업 | V | V+T (Direct) | V+T (BYOL) | V+T (TPP, 제안) |
|---|---|---|---|---|
| Put Ball | 70% | 70% | 80% | 85% |
| Peg in Hole | 50% | 60% | 50% | 80% |
Peg in Hole에서 BYOL이 시각 단독과 같은 50%에 머무는 반면 TPP가 80%를 냅니다. 일반적인 자기지도학습으로는 접촉 동역학이 잡히지 않는다는 이야기입니다.
그림 17 — 정책이 촉각 입력에서 어디에 주의를 두는지 보여줍니다. 접촉 영역에 반응이 집중됩니다.
4. 부록 — 센서 제작과 부품표
그림 9 — 안정성과 품질 관리를 위해 9DTact을 개선했습니다. 센서 셸에 경사면(bevel)을 추가해 검은 실리콘 젤을 고정합니다.
그림 10 — 젤을 일정한 품질로 찍어내기 위한 몰드입니다.
그림 11 — 그리퍼 폭을 재는 AS5600 자기 엔코더의 장착 상세입니다.
전체 하드웨어는 약 $698 로 만들 수 있습니다.
| 부품 | 기본 비용 ($) |
|---|---|
| GoPro 11 + 액세서리 | 298 |
| Meta Quest VR 헤드셋 | 299 |
| Orange Pi 3B | 35 |
| AS5600 자기 엔코더 | 1 |
| 3D 프린팅 부품 | 15 |
| 시각-촉각 센서 | 30 |
| 기타 (보조배터리, 케이블·나사·너트) | 20 |
| exUMI 총비용 | 698 |
원조 UMI의 프린트 집게 298 구성과 비교하면, 늘어난 비용의 대부분은 자세추정용 VR 헤드셋입니다. 촉각 센서 자체는 $30밖에 들지 않습니다.
그림 12 — AR 동작 포착의 기준 좌표를 잡기 위한 거치대입니다.
지연 정렬과 궤적 정확도
논문의 알고리즘 1(지연 정렬) 은 서로 다른 센서 흐름의 시간 지연을 신호 상관(correlation)으로 추정해 정렬하는 절차로, 자동 보정의 핵심 논리입니다.
그림 13 — 세 축 모두에서 AR 동작 포착 궤적이 실측(ground truth)과 잘 겹칩니다.
그림 14 — 지연 정렬 전후 비교입니다. 정렬 후 동작 포착 궤적과 비전 궤적이 시간축에서 맞아떨어집니다.
데이터셋 규모 비교
| 데이터셋 | 규모 | 촉각 센서 | 자세·행동 | 수집원 |
|---|---|---|---|---|
| Calandra et al. [39] | 6.5 K | GelSight | ✓ | Robot |
| Calandra et al. [40] | 9.3 K | GelSight | ✓ | Robot |
| VisGel [42] | 12.0 K | GelSight | ✓ | Robot |
| Burka [50] | 1.1 K | Multiple | ✓ | Human |
| Touch and Go [44] | 13.9 K | GelSight | ✗ | Human |
| ObjectFolder Real [51] | 3.0 K | GelSight | ✓ | Robot |
| SSVTP [41] | 4.5 K | DIGIT | ✓ | Robot |
| TVL [12] | 43.7 K | DIGIT | ✓ | Robot |
| Touch2Touch [52] | 32.3 K | Multiple | ✓ | Robot |
| X-Capture [43] | 3.0 K | DIGIT | ✗ | Human |
| exUMI (제안) | 480.9 K (원본 프레임) | 9DTact+ | ✓ | Human |
기존 최대 데이터셋의 10배가 넘습니다. 그것도 로봇이 아니라 사람 시연(Human) 으로 모은 규모입니다.
그림 15 — exUMI의 수집 효율이 크게 앞섭니다.
그림 16 — 학습한 정책을 실제 로봇에 배포할 때 쓰는 카메라 마운트입니다.
5. 한계
- 정량 지표의 표현 차이 — 초록은 백만 프레임 이상을, 표 5는 원본 프레임 480.9K를 제시합니다. 전처리·증강 기준 차이로 보이지만 재현할 때는 정의 확인이 필요합니다. 이 글은 원문 수치를 그대로 옮겼습니다.
- 작업별 편차 — Open Bottle 20%, Pull Drawer 40% 등 접촉이 많은 일부 작업의 성공률은 여전히 낮습니다.
- 평가 규모 — 성공률은 실제 로봇 시행 횟수가 제한적이라 신뢰구간이 넓을 수 있습니다.
- 사람 시연 의존 — 시연자와 환경에 따른 편향, 그리고 사람과 로봇 몸체(embodiment) 사이의 간극이 남습니다.
6. 정리 — 계보에서 exUMI의 자리
exUMI가 계보에 더한 것은 감각의 축입니다.
- 원조 UMI가 "로봇 없이 모으고 로봇에 붙인다"를 풀었다면,
- FastUMI가 "그걸 쉽게 만든다"를 풀었고,
- exUMI는 "눈으로 안 보이는 것까지 모은다"를 풉니다.
특히 자기수용감각을 SLAM 하나에 몰아넣지 않고 자세와 폭으로 쪼갠 것, 그리고 촉각을 그냥 넣는 대신 행동 조건부 미래 예측으로 표현을 배운 것 두 가지가 핵심입니다. 앞의 것은 하드웨어 신뢰성을, 뒤의 것은 정책 성능을 각각 끌어올렸습니다.
계보의 출발점은 원조 UMI 논문해석에 있습니다.