논문해석 - YUBI: Yielding Universal Bidigital Interface for Bimanual Dexterous Manipulation at Scale

들어가며

그리퍼 설계와 시연 품질 편에서는 집게 모양 하나가 시연 성공률과 작업부담을 통계적으로 유의하게 바꾼다는 것을 사람 대상 실험으로 확인했습니다. 거기까지가 문제를 재는 일이었다면, YUBI는 같은 문제를 하드웨어 재설계로 풉니다.

원조 UMI부터 지금까지 이 계보의 손잡이형 장치는 거의 다 권총 손잡이(pistol-grip) 모양이었습니다. 이 모양에서는 조작자의 손가락과 집게가 물체를 무는 지점이 서로 떨어져 있어 기계적 오프셋이 생깁니다. 손가락이 닫히는 자리와 턱이 닫히는 자리가 다르니 손끝에 오는 감각이 실제 접촉과 어긋나고, 무겁고 부피 큰 껍데기가 자연스러운 손놀림을 막습니다.

YUBI는 이 오프셋을 없앱니다. 엄지가 한쪽 턱을, 검지와 중지가 반대쪽 턱을 직접 밀어 구동하는 구조입니다. 이름도 거기서 나왔습니다. YUBI는 손가락을 뜻하는 한자 指의 일본어 훈독입니다.

📄 YUBI: Yielding Universal Bidigital Interface for Bimanual Dexterous Manipulation at Scale — Takehiko Ohkawa, Jumpei Arima, Yuki Noguchi, Masatoshi Tateno, Makoto Sugiura, Takuya Okubo, Kengo Ikeuchi, Yuma Shin, Hiroki Nishizawa, Naoaki Kanazawa, Yuki Wakayama, Daiki Fukunaga, Koshi Makihara, Tomohiro Motoda, Floris Erich, Yukiyasu Domae, Tatsuya Matsushima, Yohishiro Okumatsu, Kei Ota (총 19인, AIRoA·Toyota Motor Corporation·AIST·도쿄대·Institute of Science Tokyo·와세다대) / 2026-06-08, cs.RO, arxiv 식별자 2606.10244

초록 요약

YUBI는 양팔 정교 조작(bimanual dexterous manipulation) 데이터를 직관적이고 몸에 부담 없이, 그러면서 규모 있게 모으려고 만든 손가락 정렬(finger-aligned) 집게입니다. UMI 계열 손잡이 장치가 데이터 수집 단가를 크게 낮춘 것은 맞지만, 부피 큰 권총 손잡이는 세밀한 조작 과제로 갈수록 조작자를 힘들게 하고 손놀림을 방해합니다. 저자들이 내놓은 답은 사람 손가락의 움직임을 집게 턱의 움직임에 그대로 대응시키는 양보형(yielding) 손가락 구동입니다. 여기에 6-DoF VR 추적을 붙여 수집 시스템을 꾸리고, 8,434시간·120만 에피소드·119개 과제라는 UMI 계열 최대 규모의 데이터셋을 모았습니다. 실험에서 YUBI는 복잡한 양팔 과제의 다재성과 정교함, 운영 효율 어느 쪽에서도 UMI 집게보다 나았습니다. 이 데이터로 학습한 정책 하나는 집게를 각 플랫폼에 얹는 것만으로 UR·Franka·ELEY 세 양팔 로봇에서 그대로 돌아갔고, 모은 데이터가 정책 지도로 바로 쓰인다는 것을 보였습니다. 집게 하드웨어와 수집 소프트웨어, 데이터셋은 하나의 스택으로 묶어 공개했습니다.

---

1. 진단 — 권총 손잡이가 남긴 두 병목

그림 1 — 가볍고 손가락에 정렬된 집게가 사람 손가락 기구학을 그대로 비추어 직관적으로 제어됩니다. 고정밀 VR 추적을 붙여 대규모 고품질 양팔 데이터셋을 떠받칩니다.

저자들은 기존 UMI 계열을 표로 정리하며 병목 두 가지를 짚습니다.

첫째는 손가락과 집게 사이의 기계적 오프셋입니다. 오프셋이 촉각 투명성(haptic transparency)을 떨어뜨리면 조작자는 감이 오지 않아 필요 이상으로 세게 쥐는 과보상(overcompensation)을 하게 되고, 여기에 기어 백래시(backlash)가 겹쳐 미세 운동 제어가 더 어려워집니다. 손끝 설계도 걸립니다. 앞선 연구가 쓰던 Fin-Ray 구조는 부드럽고 순응적으로 물체를 감싸지만, 잘 휘는 만큼 같은 자리를 다시 잡기가 어렵고 2 kg 이상 나가는 물체를 들 파지력도 모자랍니다. 실제 조립 현장은 너트 같은 작은 부품을 정밀하게 다루는 일과 무거운 산업 부품을 드는 일을 한 자리에서 요구합니다.

둘째는 추적입니다. SLAM 기반은 움직임이 빠르거나 무늬가 약한 곳에서 표류하거나 아예 놓치고, VR 기반은 자세 품질이 좋은 대신 헤드셋을 써야 해서 목에 부담이 갑니다. 연속 착용 권장 시간이 30분 남짓이라 한 세션을 길게 끌 수 없습니다.

---

2. 양보형 손가락 정렬 설계

그림 20 — 두 손가락(bidigital) 기구가 내부 기어로 턱을 움직이고, 인체공학 그립과 플랩이 이를 받칩니다. 과제 관측용 어안 카메라가 달리고, 고주파 6-DoF 궤적 추적을 위해 Quest 컨트롤러를 붙였습니다.

한쪽 턱은 엄지가, 반대쪽 턱은 검지와 중지가 함께 움직여 밉니다. 각 턱은 자기를 미는 손가락에 양보(yield)하므로, 집게 벌림이 조작자의 집기 동작을 모터 저항 없이 그대로 따라옵니다. 명령과 실제 사이의 어긋남이 사라지고 손끝 감각이 살아나니, 조작자가 평소 손 쓰던 정교함을 그대로 옮길 수 있습니다.

정밀도를 지키면서 설계 하중 약 2 kg을 버티려면 구조가 흔들리지 않아야 합니다. YUBI는 손 전체를 받치는 그립을 기계적 받침점(fulcrum)으로 삼아, 검지와 중지가 턱을 미는 동안 나머지 손가락이 하중을 나눠 받게 했습니다. 손가락 기하는 도달 범위와 하중 용량 사이에서 저울질해 정했습니다. 모멘트 팔(moment arm)을 짧게 가져가, 좁은 틈에 들어가는 능력을 잃지 않으면서도 무거운 물체를 들 만한 강성을 냅니다.

무게는 약 319 g입니다. 집게 200 g에 VR 컨트롤러 119 g을 더한 값이니, 780~900 g대이던 기존 설계의 절반이 안 됩니다. 3D 프린팅 부품이라 한 대당 200 USD 미만으로 만들 수 있습니다(Quest 3S 추적계 제외).

이 설계에는 인체공학 말고 딸려 오는 이득이 하나 더 있습니다. 지지 그립이 턱 아래에 놓이니 집게가 자연히 아래를 향하고 손은 접촉점 위에 옵니다. 그러면 조작자는 탁자 높이에서 옆으로 쓸어가는 대신 위에서 내려오는 궤적을 그리게 됩니다. 궤적이 작업 공간 위쪽에 머무니 로봇 팔이 충돌 없이는 따라 할 수 없는 표면 근접 횡방향 운동이 자연히 줄고, 기구학이 서로 다른 몸체로 옮겨도 탈이 덜 나는 시연이 남습니다.

---

3. 운영 셋업 — 책상 22대를 병렬로

그림 2 — 책상 22개에서 조작자 179명이 나란히 양팔 YUBI 시연을 모읍니다. 운영 셋업은 작업공간을 안정적으로 보는 상단 스테레오 카메라, YUBI 집게에 붙인 VR 컨트롤러를 6-DoF로 추적하는 리그 장착 VR 시스템, 손을 쓰지 않고 행동 구간을 나누는 발 페달로 이뤄집니다.

조작자는 양손에 YUBI를 하나씩 듭니다. 장치마다 손목 카메라와 Quest 컨트롤러, 집게 벌림을 재는 자기 인코더가 달려 각각 100 Hz, 80 Hz, 100 Hz로 기록됩니다. 스트림은 모두 하나의 ROS 2 그래프에 개별 토픽으로 올라가고, 공유 클럭을 써서 발생 지점에서 타임스탬프를 찍습니다.

집게 추적은 Meta Quest 3S가 맡습니다. 헤드셋의 내부-외부(inside-out) 카메라가 잡은 적외선 LED 배열과 컨트롤러 안의 IMU를 융합해 6-DoF 궤적을 냅니다. YUBI의 결정적인 선택이 여기서 나옵니다. ActiveUMI나 exUMI처럼 조작자가 헤드셋을 머리에 쓰는 대신, 무거운 헤드셋을 고정 리그에 얹어 둡니다. 목에 오는 피로를 없애면서도 리그에 달린 헤드셋이 양손 컨트롤러를 계속 볼 수 있는 배치입니다.

작업공간은 앞으로 뻗은 프레임에 단단히 고정한 RealSense D435가 30 Hz로 위에서 내려다봅니다. 이 영상은 정책 학습에 넣지 않습니다. 지시문과 실제 동작이 어긋난 저품질 시연을 걸러 내고, 물체 검출·추적이나 VLM 기반 장면 서술 같은 주석을 다는 전처리에만 씁니다.

양팔 조작에서는 두 손이 다 집게에 묶여 있어 버튼이나 키보드를 누를 손이 남지 않습니다. 그래서 책상 아래에 발 페달을 두고, 조작자가 이것을 밟아 미리 정해 둔 하위 행동의 경계를 표시하고 에피소드 저장을 승인합니다.

그림 12 — ChArUco 보드를 모든 수집 책상의 같은 자리에 놓고 전 카메라로 찍어 좌표를 맞춘 뒤, 보드를 세계 원점으로 다시 잡습니다.

집게 궤적은 세션마다 책상마다 원점이 제각각이라, 따로 캘리브레이션 세션을 두어 공통 탁자 좌표계에 맞춥니다. 탁자에 놓은 캘리브레이션 보드를 YUBI 손목 카메라와 상단 카메라로 여러 각도에서 찍고, 거기서 Quest 좌표와 탁자 좌표 사이의 강체 변환을 구합니다.

그림 17 — 조작자가 6-DoF 컨트롤러 추적을 위해 Quest 헤드셋을 가슴에 달고, 리그에 얹은 상단 스테레오 대신 1인칭 카메라를 씁니다.

리그가 기본 구성이지만 집게 자체는 자족적이라 떼어 내 들고 나갈 수 있습니다. 휴대 모드에서는 헤드셋을 가슴 벨트에 달고, 상단 카메라 대신 헤드셋에 붙인 1인칭 어안 카메라를 씁니다. 걸어 다니며 발 페달을 밟을 수는 없으니 하위 행동 전환은 집게를 두 번 클릭하는 것으로 대신합니다. 데이터 스키마는 두 모드가 같아서 하류 파이프라인을 그대로 씁니다. 식기세척기에 쟁반 넣기, 책장에 책 꽂기, 옷걸이에 셔츠 걸기처럼 탁자 위를 벗어나는 과제가 이 모드에서 나왔습니다.

---

4. 데이터셋 — 8,434시간

기록 하나는 에피소드 파일 하나입니다. 동기화된 카메라 스트림 세 개(손목 카메라 두 대와 RealSense), 손목 프레임 기준 상대 자세, 과제와 하위 행동 메타데이터가 그 안에 들어갑니다. 좌우 각각의 병진 성분 $\mathbf{t}\in\mathbb{R}^{3}$ 과 오일러 각으로 표현한 회전 성분 $\mathbf{r}\in\mathbb{R}^{3}$, 그리고 손끝 턱 각도 $d\in\mathbb{R}$ 를 저장합니다. 스트림은 저마다의 원래 주파수로 rosbag2에 담겼다가 30 Hz로 맞춘 LeRobot 형식으로 바뀝니다.

여기서 말하는 시연은 영상-언어-행동 삼중항 하나입니다. 기록된 120만 개 에피소드를 하위 행동 주석 단위로 쪼개면 680만 개가 됩니다. 수집에는 조작자 179명(남 125, 여 54)이 두 달 동안 24시간 붙었습니다.

그림 3 — 119개 과제가 산업·주방·완구·책상 작업·의류·가전·개인 관리 일곱 범주에 어떻게 나뉘는지 보여 줍니다.

에피소드 수로 보면 산업 486K, 완구 210K, 개인 관리 146K, 주방 125K, 책상 작업 108K, 가전 77K, 의류 47K입니다. 산업이 압도적으로 많은데, 정밀하면서 무거운 물체를 다룬다는 YUBI의 목표 범위가 그대로 드러납니다.

그림 4 — 배치, 삽입, 조립, 분류, 변형, 도구 사용 같은 주된 기술 유형별 과제 비중입니다. 라벨은 각 과제에서 가장 두드러진 기술이고, 실제로는 대부분의 과제가 여러 기술을 섞어 씁니다.

배치 553K, 삽입 201K, 분류 164K, 조립 162K, 변형 80K, 도구 사용 38K입니다.

앞선 데이터셋과의 비교 (표 4)

지금까지 보고된 UMI 계열 최대 데이터셋인 FastUMI-100K와 견주면 과제가 약 3.7배(119 대 32), 시연이 약 73배(6,800K 대 92.8K), 기록 시간이 14배(8,434 대 600)입니다. 촉각·음향·3D·다지 손처럼 특수 감지를 단 데이터셋 가운데 가장 큰 DexWild(9.5K)와 견주면 시연 수가 약 720배로 벌어집니다.

저자들의 해석이 솔직합니다. 다중모드나 다지 손 갈래의 연구가 과학적으로 값어치는 있지만 규모는 개념 증명 수준(대부분 3K 시연 미만)에 머물러 있고, 그 원인으로 잘 망가지는 촉각 패드, 비싼 하드웨어, 다지 원격조작 장비의 개발 비용을 듭니다. YUBI는 이 축에서 경쟁하는 대신 운영 확장성이라는 다른 축을 잡았습니다. 싸게 만들고, 수천 시간을 버티고, 조금만 가르쳐도 조작자가 곧 생산성을 내는 장치입니다.

---

5. 사용성 실험 — 정교함과 속도

UMI도 YUBI도 써 본 적 없는 조작자 10명(성비 균형)을 모아 실험 두 가지를 했습니다.

정교함 시험

그림 18 — M10부터 M3까지 육각 너트를 한 번씩만 집어 옮깁니다. UMI의 부피 큰 턱은 작은 부품을 가리고 작업 공간을 비좁게 만드는 반면, YUBI의 가는 손끝은 집는 듯한 접촉으로 너트에 닿습니다.

표준 육각 너트 여섯 종(M10~M3)을 큰 것부터 차례로 탁자에서 쟁반으로 옮기는 과제인데, 크기마다 시도는 한 번뿐입니다. 실패하면 그대로 실패로 세고 다음 크기로 넘어갑니다.

그림 5 — M10부터 M3까지 육각 너트를 UMI와 YUBI로 집어 옮긴 성공률입니다. 오차 막대는 95% 이항 신뢰구간이며 n=50입니다.

큰 너트인 M8과 M10에서는 두 장치 모두 94% 이상으로 천장에 붙습니다. 지름이 줄면서 갈라져서, M6에서 YUBI가 20 pp, M5에서 10 pp 앞서고, 가장 작은 M3에 오면 44% 대 14%로 약 3배 차이가 납니다.

M4에서 YUBI가 자기 M3 성적보다 낮게 꺾이는 예외가 하나 있습니다. 저자들은 정밀도가 무너졌다기보다 너트 지름과 손끝 곡률이 맞지 않아 생긴 크기 특유의 접촉 문제로 봅니다. UMI도 M6에서 M5로 갈 때 같은 꺾임을 보인다는 것이 근거입니다.

운영 효율 시험

과제 다섯 개를 맨손(Hand), UMI, YUBI 세 조건으로 해 보고 완료 시간을 쟀습니다. 조건 순서 효과를 없애려고 절반은 맨손, UMI, YUBI 순으로, 나머지 절반은 반대 순으로 진행했습니다. 조건당 5회 시행의 평균 완료 시간(초)입니다.

YUBI가 다섯 과제 모두에서 UMI보다 빠릅니다. 배속은 도미노 배열의 1.37배부터 휴대폰 충전의 4.19배까지 벌어지는데, 커넥터 삽입이나 정밀한 도구 제어처럼 손끝이 세밀해야 하는 과제일수록 차이가 커지고 맨손과의 간격도 그만큼 좁아집니다.

---

6. 로봇 배포 — 하나의 정책, 세 로봇

그림 19(왼쪽) — Franka에 장착한 모습입니다. 로봇의 기본 집게를 떼고 로봇별 어댑터 플랜지로 YUBI 집게를 붙였으며, 데이터 수집 때와 같은 구동 기어를 모터가 돌려 턱 벌림을 제어합니다.

그림 19(오른쪽) — 같은 방식으로 Toyota의 반인간형 ELEY에 장착한 모습입니다.

양팔 플랫폼 세 대, 곧 UR과 Franka와 Toyota의 반인간형 ELEY에 YUBI 집게와 같은 손목 카메라를 달아 배포 때의 말단장치를 수집 때와 똑같이 맞춥니다. 수집 때는 손가락이 직접 턱을 밀었으니, 배포에서는 그 구동 기어에 모터를 달아 개폐 명령으로 돌립니다. 기록된 손별 벌림 값 $d^{\text{right}}, d^{\text{left}}$ 를 이 모터 명령에 선형 대응시킵니다.

장착 방식에도 손이 갔습니다. 로봇 손목 플랜지의 회전축이 집게가 무는 지점을 정확히 지나도록, 손가락이 들어가는 방향에 맞춰 답니다. 이렇게 맞추면 손목 롤 회전이 손끝을 제자리에서 돌릴 뿐, 빗겨난 축을 중심으로 손끝을 휘두르지 않습니다. 손끝이 손목 축 위에 치우침 없이 놓이니 나머지 관절이 그 오프셋을 메우는 데 각도를 쓰지 않고, 기록된 궤적을 따라가는 데 기구학 범위를 온전히 쓸 수 있습니다.

정책은 $\pi_{0.5}$ 를 여러 과제에 걸쳐 말단장치 궤적 행동 공간에서 함께 학습합니다. 행동 공간이 로봇별 관절 명령이 아니라 집게 궤적이라, 정책 하나가 재타깃 없이 몸체를 넘나듭니다. 자연어 과제 지시와 30 Hz 손목 RGB 영상을 받아 상대 말단장치 자세를 묶음 단위로 내놓습니다. 추론 때는 예측 궤적을 10 Hz로 낮춰 실행하는데, 로봇의 속도·가속도 한계가 사람이 모은 시연보다 빡빡해서입니다. 명령된 말단장치 자세는 로봇별 역기구학 솔버가 관절 목표로 바꿉니다.

그림 7 — YUBI 데이터로 학습한 정책을 세 로봇, 여섯 과제에 성공적으로 배포했습니다.

과제당 20회 시행 결과입니다.

후속 학습에 쓴 시연 수는 순서대로 408, 275, 194, 1,903, 1,691, 3,985개입니다. 과제 균형 표본 추출기를 써서 특정 과제에 과적합하거나 과소적합하지 않게 했습니다. UR 실험은 30K 반복, 배치 크기 256, 행동 묶음 16으로, Franka와 ELEY 실험은 150K 반복, 배치 크기 64, 행동 묶음 32로 학습했습니다.

확산 정책과의 비교 (표 5)

원조 UMI가 쓴 확산 정책 구조와 $\pi_{0.5}$ 를 같은 YUBI 시연으로 과제별 학습해, 양팔 UR에서 같은 규약으로 비교했습니다.

가장 쉬운 과제에서는 둘 다 만점입니다. 두 번째 컵을 이미 쌓인 컵에 닿은 채로 놓아야 하는 컵 피라미드에서 격차가 벌어지고, 이 묶음에서 좌우가 가장 다르게 움직이는 안경 펼치기에서는 확산 정책이 0/20으로 완전히 무너집니다. 같은 데이터 예산으로 처음부터 학습한 확산 디코더는 쉬운 과제에는 충분하지만 어려워지면 기댈 사전 지식이 없습니다. 저자들은 확산 정책을 구조적 하한선으로 두고 $\pi_{0.5}$ 를 본 정책으로 삼았습니다.

---

7. 저자가 밝힌 한계

첫째는 서브밀리미터 정밀도가 필요하거나 촉각에 민감한 과제입니다. 빡빡한 케이블 삽입이나 깨지기 쉬운 재료 취급은 여전히 어렵고, 전용 데이터 큐레이션과 다중모드 감지, 과제별 후속 학습이 있어야 합니다.

둘째는 데이터 혼합 레시피입니다. YUBI 데이터를 야외 시연이나 실로봇 데이터 같은 보완 출처와 어떤 비율로 섞어야 VLA 정책이 더 잘 일반화되는지는 아직 답이 없습니다.

셋째는 8,434시간을 다 쓰는 일입니다. 논문의 배포 실험은 과제별 소규모 후속 학습에 그쳤고, 전체 데이터로 대규모 VLA 사전학습을 돌리는 일은 후속 과제로 남겼습니다.

---

8. 정리 — 계보에서 YUBI의 자리

YUBI는 이 계보에서 인체공학을 규모의 문제로 옮겨 놓은 논문입니다.

• 양보형 손가락 정렬 구동이 권총 손잡이의 기계적 오프셋을 없앱니다. M3 너트의 44% 대 14%, 휴대폰 충전 과제의 4.19배 속도가 그 값어치를 보여 줍니다.
• 헤드셋을 사람 머리가 아니라 리그에 얹는 선택으로 VR 추적의 정확도만 취하고 목 피로는 버렸습니다. ActiveUMI와 exUMI 갈래에 곧바로 답하는 선택입니다.
• 8,434시간·120만 에피소드·119과제는 특수 감지를 포기하고 운영 확장성을 택한 결과입니다. 촉각과 다지 손 갈래가 3K 시연 벽에 갇힌 이유를 정면으로 짚습니다.
• 말단장치 궤적 행동 공간 덕에 정책 하나가 UR·Franka·ELEY로 재타깃 없이 옮겨 갑니다. 원조 UMI의 상대 궤적 표현이 양팔과 여러 몸체로 넓어진 모습입니다.

그리퍼 설계와 시연 품질 편이 "도구 설계가 시연 품질을 좌우한다"를 사람 8명으로 쟀다면, YUBI는 같은 명제를 179명·8,434시간 규모로 실행에 옮긴 셈입니다. 계보의 출발점이 궁금하다면 원조 UMI 논문해석으로 돌아가면 됩니다.