기록 메모 — 로봇마다 팔 길이와 카메라 위치가 다른데, 한 로봇의 경험이 다른 로봇에게도 쓸모가 있을까?
데이터를 섞는 일이 왜 어려운가
로봇 데이터는 기계마다 관절 수와 센서, 행동 범위가 달라 그대로 합치기 어렵다. 단일 로봇에만 맞는 데이터를 깊게 모으는 선택은 관리하기 쉽지만, 새로운 기계나 작업으로 옮길 때 다시 처음부터 시작해야 할 가능성이 크다. Open X-Embodiment는 이 문제를 피하지 않고 여러 기관의 서로 다른 로봇 데이터를 한 형식으로 묶었다.
논문의 판단
논문은 로봇마다 달라도 관측, 행동, 작업 설명을 일정한 데이터 구조로 정리하면 함께 학습시킬 수 있다고 봤다. 여기서 RLDS는 로봇의 한 번의 시도 안에 관측과 행동을 순서대로 담는 데이터 형식이다. 단순히 파일을 모으는 대신, 다른 몸체에서 온 경험이 대상 로봇의 성능에도 도움이 되는지를 실험으로 확인한 점이 핵심이었다.
내가 가져간 기준
지금 내 워크스페이스에는 대규모 공개 데이터셋을 즉시 학습시키는 계획이 있는 것은 아니다. 그래서 이 논문을 보고 데이터를 무조건 많이 모으자는 결론을 내리지는 않았다. 대신 나중에 시뮬레이션 결과와 실제 기록을 비교할 가능성을 남기려면, 처음부터 데이터의 의미와 형식을 함께 기록해야 한다는 기준을 세웠다.
다음으로 연결되는 모델
여러 로봇의 데이터를 한데 모을 수 있다는 가능성은, 그 위에서 누구나 시험해 볼 수 있는 공개 정책으로 이어진다. Octo는 그 연결을 실용적인 규모에서 보여주는 기준점이었다.