기록 메모 — 로봇에게 ‘재활용할 수 있는 물건을 집어라’라고 말했을 때, 학습 데이터에 없던 물건도 알아볼 수 있을까?
출발점은 지식의 빈칸이었다
RT-1이 다양한 로봇 경험의 가치를 보여줬다면, RT-2는 로봇 시연만으로는 채우기 어려운 상식의 빈칸을 다룬다. 예를 들어 물체의 재질이나 용도처럼 사람이 자연스럽게 아는 정보는 로봇 행동 데이터에 모두 들어 있지 않다. 그래서 이 논문은 인터넷 규모의 이미지·언어 모델이 이미 가진 지식을 로봇 제어에 연결할 수 있는지 살폈다.
판단: 새 모델보다 공통 언어를 쓴다
RT-2는 이미지와 문장을 이해하던 모델이 행동도 토큰으로 출력하게 만들었다. 토큰은 컴퓨터가 문장이나 숫자를 잘게 나누어 다루는 단위인데, 여기서는 로봇의 움직임도 그 단위로 바꿔 같은 모델 안에 넣었다. 로봇 전용 구조를 완전히 새로 만드는 대신, 기존 모델의 시각·언어 지식을 유지하면서 로봇 시연과 함께 학습시키는 길을 택한 것이다.
읽고 나서 바뀐 판단
이 접근은 언어 모델이 곧바로 안전한 제어기가 된다는 뜻은 아니다. 큰 모델의 답변을 그대로 관절 명령으로 쓰는 방식은 현재 내 작업의 검증 범위와도 맞지 않는다. 다만 ‘이해’와 ‘실행’을 한 흐름으로 이어 보려면 관측, 언어 지시, 행동 표현이 어떻게 만나는지부터 설계해야 한다는 질문을 남겼다.
다음 단계
RT-2가 지식의 폭을 넓혔다면, 다음 문제는 그 지식을 어떤 로봇의 데이터로 학습시킬 것인가다. 그 답을 찾기 위해 여러 로봇의 데이터를 묶은 Open X-Embodiment를 읽었다.