인터넷에서 배운 ‘작다’, ‘가깝다’, ‘도구로 쓸 수 있다’ 같은 지식이 로봇의 손 움직임으로 이어질 수 있을까요. RT-2는 이 질문을 시각언어 모델과 로봇 제어의 경계에서 다룹니다. 저는 자연어 명령을 실제 로봇 과제로 연결하는 흐름을 검토하면서, 언어 해석과 물리적 행동을 별개 모듈로만 둘 때 무엇을 놓치는지 확인하기 위해 이 논문을 읽었습니다.
RT-2의 핵심은 행동을 언어와 같은 형식으로 다룬 데 있습니다
RT-2는 시각·언어 모델을 로봇 궤적 데이터와 함께 미세조정하고, 로봇 행동을 텍스트 토큰처럼 표현합니다. 토큰은 모델이 처리하는 작은 기호 단위입니다. 이 설계의 의도는 웹에서 배운 시각·언어 지식과 로봇 시연에서 배운 행동을 한 모델 안에서 연결하는 데 있습니다. 논문은 새로운 물체와 의미적 지시에서의 일반화 가능성을 보였지만, 그것이 모든 로봇과 모든 환경에서 곧바로 재현된다는 뜻은 아닙니다.
이전의 SayCan이 언어 계획과 실행 가능성을 분리했다면, RT-2는 행동 자체를 모델의 표현 공간 안으로 넣습니다. 둘의 차이는 중요합니다. SayCan은 이미 준비된 기술 중 무엇을 실행할지 판단하는 구조이고, RT-2는 관측과 지시에서 행동 표현을 직접 생성하는 정책입니다. 따라서 두 논문을 같은 ‘자연어 로봇’이라는 말로 묶으면, 검증 위치가 어디인지 사라집니다.
프로젝트에 바로 적용하지 않는 이유
현재 프로젝트에서 RT-2는 구현 완료 모델이 아니라 설계 기준입니다. 적용하려면 언어 지시, 카메라 관측, 로봇 상태, 행동 표현이 한 데이터 계약 안에서 정의돼야 합니다. 어느 하나라도 의미가 흔들리면 모델이 낸 토큰이 실제 로봇 행동과 일치하는지 평가할 수 없습니다. 그래서 지금은 언어 요청을 구조화하고 실행 전 제약을 확인하는 단계와, 행동을 생성하는 학습 단계를 분리해 검토합니다.
검증 예정인 것은 작은 범위의 과제에서 언어·관측·행동의 연결이 일관되는지입니다. 대규모 웹 지식을 즉시 제어기로 가져오는 일은 참고만 합니다. RT-2가 준 교훈은 거대한 모델의 규모보다, 로봇 데이터가 언어와 행동을 같은 문제로 다룰 수 있게 만드는 표현 설계의 중요성입니다.
논문 원문: Brohan et al., RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
함께 읽기: SayCan · OpenVLA · VLA란 무엇인가
RT-2가 풀려던 문제
기존 로봇 정책은 시연 데이터에 등장한 물체와 명령에는 강했지만, “멸종한 동물을 집어라”처럼 웹에서 배운 상식이 필요한 지시에는 답하기 어려웠습니다. 반대로 거대한 비전-언어 모델은 사진과 문장의 의미는 알지만 모터 명령을 출력하지 못했습니다. RT-2의 판단은 두 모델을 직렬로 붙이는 대신, 로봇 행동 자체를 언어모델이 예측할 수 있는 토큰으로 바꾸자는 것이었습니다.
행동을 단어처럼 예측하는 방법
각 제어 시점의 말단장치 이동량과 회전량, 그리퍼 상태를 여러 구간으로 양자화하고 각 구간을 기존 어휘의 사용하지 않는 토큰에 대응시켰습니다. 그러면 입력은 카메라 이미지와 자연어 명령이고, 출력은 일반 문장 또는 여덟 개 안팎의 행동 토큰이 됩니다. 별도의 제어 헤드를 크게 추가하지 않고도 PaLI-X나 PaLM-E 계열 VLM의 다음 토큰 예측 구조를 그대로 사용할 수 있다는 것이 이 선택의 이유입니다.
왜 공동 미세조정이 필요할까요
로봇 데이터만 계속 학습하면 모델이 원래 가지고 있던 시각·언어 상식을 잊을 수 있습니다. 연구진은 웹 비전-언어 과제와 로봇 궤적을 섞어 학습해 의미 추론 능력을 유지하면서 행동 출력을 익히게 했습니다. 약 6천 회의 로봇 평가에서 보지 못한 물체, 상징적 설명, 추론이 필요한 명령의 개선을 확인했지만, 이것이 자유로운 장기 계획이나 안전한 범용 제어를 증명한 것은 아닙니다.
행동을 256개 구간 같은 이산 토큰으로 바꾸면 구현은 단순해지지만 구간보다 미세한 제어 정밀도는 사라집니다. 또한 큰 모델을 매 제어 시점 호출하는 비용과 지연, 폐쇄형 데이터·가중치라는 재현성 문제가 남습니다. 제 프로젝트에서는 RT-2를 현재 실행 중인 모델이라고 표현하지 않고, 언어 의미를 행동 인터페이스로 넘기는 설계와 평가 항목을 정하는 참고 계보로 둡니다.
일반화와 정밀 실행 사이의 교환
| 평가 | RT-1 | RT-2-PaLI-X-55B |
|---|---|---|
| 학습 분포 안의 과제(seen) | 92% | 91% |
| 미학습 조건 평균(unseen: 물체·배경·환경) | 32% | 62% |
| 의미 추론(symbol·reasoning·person) 평균 | 17% | 60% |
이 표는 RT-2가 모든 면에서 RT-1을 이겼다는 이야기가 아닙니다. 익숙한 제어에서는 두 모델이 거의 같았고(92% vs 91%), 웹 지식이 필요한 새 조건과 의미 추론에서 RT-2가 크게 나아졌습니다. 따라서 논문의 공헌은 정밀 제어의 완전한 대체가 아니라, 시각·언어 사전학습이 로봇 일반화에 어떤 종류의 이득을 주는지 분리해 보인 데 있습니다.
프로젝트 적용 경계: 이 논문의 아이디어를 현재 워크스페이스의 VLA·라우터·안전 계층에 어떻게 나누어 적용할지는 RT-2를 직접 구현하지 않고도, 행동 토큰의 경계를 먼저 정리한 이유에서 별도로 정리했습니다. 논문의 결과와 현재 구현 상태를 같은 것으로 오해하지 않도록 두 글을 분리했습니다.
원문 보기: RT-2 (arXiv 2307.15818)