능동 시각과 조작
대부분의 로봇 조작 정책은 카메라를 고정해 두고 들어오는 영상을 그대로 받습니다. 정밀한 작업이 필요하면 손목에 카메라를 하나 더 다는 것이 표준 해법입니다.
능동 시각(active vision) 은 카메라가 무엇을 볼지를 정책의 결정으로 끌어들입니다. 사람이 손을 움직이기 전에 눈이 먼저 다음 대상으로 가 있듯이, 로봇도 과제에 필요한 곳을 먼저 바라보고 그 시선을 행동의 기준으로 삼게 하자는 생각입니다. 시선을 옮겨 더 나은 시점을 찾는 정보 탐색형 연구도 있고, 이미 잘 보이는 장면 안에서 계산과 주의를 어디에 모을지 정하는 정보 거르기형 연구도 있습니다.
계보의 출발점
이 시리즈는 시선 시연 없이 시선을 배우는 EyeRobot을 출발점으로 둡니다. 로봇 팔의 행동 복제 정책을 학습하면서, 그 정책이 시연 행동을 얼마나 잘 맞히는지를 보상으로 시선 정책을 강화학습하는 BC-RL 순환이 이 계보를 묶는 공통 구조입니다.
- 어디를 볼지 사람이 알려 줘야 한다 → 행동 예측 정확도를 보상으로 시선을 배우는 EyeRobot
- 정밀 조작에는 손목 카메라가 필요하다 → 스테레오 3D 주시, 중심와 처리, 주시 좌표계 행동으로 손목 카메라를 대신한 EyeRobot 2.0
읽는 순서
1편 EyeRobot부터 읽는 것을 권합니다. 2편은 1편의 BC-RL 순환을 그대로 쓰면서 무엇을 바꿨는지로 자기 위치를 설명합니다.
각 글은 논문 원본 그림을 그대로 싣고, 수치는 원문 값을 그대로 옮겼습니다.