로봇 데이터가 많아지면 서로 다른 로봇의 시연을 한데 모아도 될까요. 사람에게는 같은 ‘집기’처럼 보여도, 카메라 위치와 관절 구조, 행동 단위가 다른 로봇에게는 전혀 다른 데이터일 수 있습니다. Open X-Embodiment는 이 문제를 피하지 않고, 여러 기관과 서로 다른 로봇 몸체에서 수집한 데이터를 공통 형식으로 다루려 한 연구입니다. 저는 향후 조작 데이터를 다룰 때 규모보다 먼저 무엇을 맞춰야 하는지 확인하기 위해 이 논문을 읽었습니다.
데이터를 모으기 전에 의미를 맞춥니다
논문은 다양한 로봇 시연을 RLDS라는 공통 에피소드 형식으로 정리하고, 서로 다른 몸체의 데이터를 섞어 학습하는 가능성을 검토했습니다. 에피소드는 관측, 행동, 종료 시점처럼 한 번의 과제 수행에 필요한 시간 순서 기록입니다. 이 연구의 중요한 점은 데이터가 많아졌다는 사실만이 아닙니다. 관측이 무엇을 뜻하는지, 행동이 어느 좌표계와 시간 단위를 쓰는지, 과제가 성공했는지를 어떻게 판단하는지 같은 의미를 맞춰야 데이터 결합이 연구 질문이 될 수 있다는 점을 보여 줍니다.
따라서 ‘다양한 로봇 데이터는 항상 더 좋다’는 결론으로 읽으면 안 됩니다. 논문도 데이터 혼합과 모델 설계의 효과를 실험으로 검증했으며, 서로 다른 센서와 행동 공간을 다루기 위한 표현이 필요했습니다. 제 프로젝트에서도 외부 데이터나 다른 로봇의 시연을 바로 합치기보다, 먼저 하나의 로봇·하나의 과제에서 관측과 행동의 의미를 고정하는 편이 낫다고 판단했습니다.
현재 프로젝트와의 연결
현재 제가 적용하는 것은 데이터 계약을 먼저 정하는 원칙입니다. 영상, 로봇 상태, 언어 지시, 행동, 성공·중단 기준이 서로 무엇을 가리키는지 명시하지 않으면 이후 학습 결과를 해석할 수 없습니다. 반면 여러 기관의 대규모 데이터를 즉시 혼합하거나 RT-X 계열 모델을 현 프로젝트에 적용한 것은 아닙니다. 그 단계는 단일 로봇 기준선과 재현 가능한 평가가 먼저 마련된 뒤에만 검토할 수 있습니다.
이 논문은 Octo와 OpenVLA를 읽는 출발점이기도 합니다. 두 모델은 다양한 로봇 데이터에서 사전학습된 정책을 새로운 과제로 옮기는 방법을 다루지만, 그 전제에는 데이터의 의미가 충분히 정리돼 있다는 사실이 있습니다. 지금 제게 필요한 질문도 “얼마나 많은 데이터를 모을까”보다 “나중에 다른 데이터와 비교해도 같은 뜻으로 읽힐까”에 가깝습니다.
논문 원문: Open X-Embodiment Collaboration, Open X-Embodiment: Robotic Learning Datasets and RT-X Models
적용 상태: 데이터 의미·평가 기준의 명시 — 현재 원칙 / 단일 로봇 기준선 뒤의 데이터 호환성 검증 — 검증 예정 / 대규모 다기관 데이터 혼합 — 참고만 함
로봇 데이터가 서로 섞이지 않았던 이유
로봇마다 카메라 수, 관절 수, 제어 좌표계와 수집 목적이 달라 한 연구실의 시연을 다른 로봇 학습에 그대로 쓰기 어려웠습니다. 데이터가 작다는 문제보다 데이터의 뜻이 맞지 않는 문제가 먼저였습니다. Open X-Embodiment는 21개 기관의 여러 데이터셋을 RLDS라는 에피소드-스텝 구조로 모아, 최소한 관측·행동·언어 지시를 같은 방식으로 읽을 수 있게 만들었습니다.
여기서 “표준화”는 모든 행동을 하나의 물리량으로 완전히 통일했다는 뜻이 아닙니다. 원래 행동 공간과 좌표계 차이는 상당 부분 남아 있고, 모델과 데이터 변환기가 그 차이를 처리해야 합니다. 이 구분을 놓치면 파일 형식이 같다는 이유만으로 서로 다른 행동 의미를 섞는 오류가 생깁니다.
RT-X 실험이 보여 준 것
연구진은 RT-1 구조를 여러 로봇 데이터로 학습한 RT-1-X와, 더 큰 비전-언어 모델을 이용한 RT-2-X를 만들었습니다. 목표 로봇의 데이터만 학습한 기준선과 교차 로봇 혼합 데이터를 학습한 모델을 비교해 다른 로봇의 경험이 목표 로봇에도 양의 전이를 주는지 확인했습니다. 결과는 대체로 개선을 보였지만 모든 데이터가 동일하게 도움이 된다는 결론은 아닙니다. 품질이 낮거나 지나치게 큰 데이터셋이 혼합을 지배하면 오히려 잡음이 커지므로 샘플링 가중치가 중요한 설계 변수가 됐습니다.
제 프로젝트에는 원본 데이터를 바로 학습에 넣는 대신, 데이터 카드에서 로봇 형태·센서·행동 좌표계·수집 방식·라이선스를 먼저 확인하는 원칙으로 적용합니다. 공통 스키마 변환은 검증 예정이고, 교차 형상 사전학습의 효과는 아직 제 환경에서 측정하지 않았으므로 참고 단계로만 구분합니다.
규모와 전이 결과
| 항목 | 논문이 모은 범위 |
|---|---|
| 실제 로봇 궤적 | 100만 개 이상 |
| 로봇 형태 | 22종 |
| 참여 기관 | 21곳 |
| 기술 범주 | 527개 |
혼합 데이터로 학습한 RT-1-X·RT-2-X는 저데이터 환경의 기존 로봇 전용 정책보다 평균 약 50% 높은 성공률을 보였고, RT-2-X는 학습 로봇에 없던 새 물체·기술을 다른 로봇(WidowX) 데이터에서 배운 emergent 평가에서 RT-2보다 약 3배 높았다고 논문은 보고합니다. 다만 이 논문은 로봇·과제별 세부 퍼센트 비교표를 공개하지 않으므로, 이 글도 존재하지 않는 소수점 비교표 대신 논문이 실제로 제시한 상대적 향상폭만 인용합니다. 이는 데이터가 많아지면 모든 지표가 자동으로 좋아진다는 뜻이 아니라, 특정 로봇 최적화와 범용 전이 사이에 교환이 있을 수 있음을 보여 줍니다.