로봇에게 “정리해 줘”라고 말했을 때, 말의 뜻을 이해하는 것과 실제로 할 수 있는 동작을 고르는 것은 다른 문제입니다. 언어 모델은 그럴듯한 순서를 만들 수 있지만, 지금 로봇의 손이 닿는지, 필요한 물체가 있는지, 해당 동작이 준비돼 있는지는 알지 못합니다. SayCan은 이 간극을 정면으로 다룬 논문입니다. 저는 자연어 명령을 로봇 동작으로 연결하는 구조를 검토하면서, 계획을 잘 세우는 모델보다 먼저 ‘지금 가능한가’를 묻는 장치가 필요하다는 점 때문에 이 논문을 읽었습니다.
문제: 그럴듯한 계획과 실행 가능한 계획은 다릅니다
긴 지시를 받으면 언어 모델은 다음에 무엇을 해야 할지 높은 수준의 후보를 제안할 수 있습니다. 그러나 “컵을 집는다”는 문장이 설득력 있다는 사실은 로봇이 컵을 잡을 수 있다는 증거가 아닙니다. SayCan은 이 문제를 affordance, 즉 특정 환경에서 로봇이 어떤 행동을 실제로 수행할 수 있는가라는 개념으로 분리했습니다. 논문의 질문은 언어 모델을 더 크게 만드는 일이 아니라, 언어가 제안한 기술을 현재 로봇 상태가 거절할 수 있게 만드는 일이었습니다.
방법: 두 종류의 점수를 섞지 않고 결합합니다
SayCan에는 두 판단이 있습니다. 첫째, 언어 모델은 사용자의 목표와 이전에 선택한 행동을 보고 다음 기술 후보가 계획상 얼마나 자연스러운지 평가합니다. 둘째, 각 저수준 기술에 연결된 가치 함수는 현재 관측에서 그 기술이 성공할 가능성을 추정합니다. 가치 함수는 강화학습에서 ‘이 상태에서 이 행동을 계속했을 때 얼마나 좋은 결과가 기대되는가’를 수치로 예측하는 모델입니다. 논문은 두 점수를 결합해 후보를 정렬함으로써, 말이 되는 행동과 가능한 행동을 동시에 요구합니다.
사용자 지시 ↓ 언어 모델: 다음 기술 후보와 계획 적합성 ↓ ↘ 기술 라이브러리 ─→ 가치 함수: 현재 상태에서의 실행 가능성 ↓ ↗ 계획 적합성 × 실행 가능성 ↓ 가장 높은 후보를 실행하고, 새 관측으로 다시 판단
여기서 중요한 제한도 있습니다. 언어 모델은 관절을 직접 움직이지 않고, 사전에 준비된 기술 라이브러리 안에서 다음 단계를 고릅니다. 즉 SayCan의 성패는 언어 모델의 지식만이 아니라 기술 집합이 충분한지, 가치 함수가 현실의 실패 조건을 잘 읽는지에 달려 있습니다. 이것이 이 논문을 “로봇이 자연어를 이해했다”는 결론보다 “언어 계획을 물리적 제약으로 접지했다”는 설계로 읽어야 하는 이유입니다.
이전 연구와의 관계
기존의 기술 라이브러리 방식은 사람이 정한 순서대로 기술을 호출하는 경우가 많았습니다. 반대로 언어 모델만 쓰면 상황에 맞는 문장을 만들 수 있어도 로봇의 현재 상태를 근거로 반박하기 어렵습니다. SayCan은 그 중간에 있습니다. 반면 RT-2는 시각·언어 모델의 표현 안에 행동을 직접 넣으려 했고, 그래서 검증 지점이 기술 선택이 아니라 행동 표현과 데이터 정합성으로 옮겨갑니다.
결과를 어디까지 믿어야 할까요
논문은 모바일 매니퓰레이터의 긴 지시 과제에서, 언어 모델의 계획과 실행 가능성 점수를 결합해야 하는 이유를 실험으로 보였습니다. 그러나 이 결과가 임의의 로봇·임의의 환경에서 같은 방식으로 일반화된다는 뜻은 아닙니다. 기술 라이브러리에 없는 행동, 센서가 보지 못한 상태, 가치 함수가 잘못 높게 평가한 상황은 여전히 실패합니다. SayCan은 실패를 없애는 모델이 아니라, 실패할 수 있는 기술을 계획 단계에서 덜 선택하게 하는 구조입니다.
제 프로젝트에서의 적용 위치
현재 적용하는 것은 자연어 의도와 실행 단계를 분리하는 원칙입니다. 사용자의 문장은 바로 저수준 제어로 흘려보내지 않고, 먼저 과제와 제약을 가진 요청으로 해석돼야 합니다. 그 다음에만 시뮬레이션 상태, 준비된 정책, 안전 조건이 해당 요청을 받을 수 있는지 확인합니다. 이 원칙은 에이전트가 다음 판단을 만드는 방식에서 다룬 역할 분리와도 연결됩니다.
기술별 실행 가능성 점수를 실제 계획 선택에 연결하는 일은 검증 예정입니다. 현재 프로젝트에 모든 자연어 과제를 실행할 수 있는 기술 라이브러리나 완성된 실행 가능성 모델이 있다고 말할 수는 없습니다. 따라서 SayCan의 기술 라이브러리와 가치 함수를 그대로 가져오는 것은 참고만 하고, 먼저 제한된 과제에서 요청·상태·안전 조건의 경계를 검증하려 합니다.
논문 원문: Ahn et al., Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
함께 읽기: RT-2 · VLA란 무엇인가 · 에이전트가 다음 판단을 만드는 방식
수식이 말해 주는 설계 논리
SayCan이 풀려던 문제는 문장을 그럴듯한 작업 순서로 바꾸는 것만이 아니었습니다. 언어모델은 “컵을 집는다” 다음에 “싱크대로 간다”가 자연스럽다고 판단할 수 있지만, 컵이 보이지 않거나 집기 정책이 실패하는 상태까지 알지는 못합니다. 연구진은 이 차이를 언어적 타당성과 물리적 실행 가능성이라는 두 점수로 분리했고, 후보 기술 π의 순위를 대략 p(기술 | 명령, 지금까지의 계획) × V(현재 상태, 기술)로 계산했습니다.
첫 항은 언어모델이 매긴 가능도입니다. 두 번째 항의 가치함수(value function)는 현재 센서 상태에서 그 기술을 끝낼 가능성을 추정하는 함수이며, 강화학습으로 미리 익힌 기술마다 따로 존재합니다. 곱셈을 택한 이유는 어느 한쪽이 거의 0이면 후보를 탈락시키기 위해서입니다. 문맥에는 맞지만 실행할 수 없는 행동과, 실행은 쉽지만 명령과 무관한 행동을 동시에 걸러내는 논리입니다.
실험은 무엇을 비교했을까요
평가는 Everyday Robots의 이동형 매니퓰레이터가 주방 환경에서 긴 자연어 지시를 수행하는 방식으로 이뤄졌습니다. 연구진은 언어모델만 쓰는 경우, 실행 가능성만 보는 경우, 두 신호를 결합한 경우를 비교했습니다. 핵심은 개별 집기 성공률이 아니라 여러 기술이 이어지는 장기 과제에서 어디서 실패하는지를 보는 것이었습니다. 결합 모델이 더 나은 결과를 냈다는 사실은 언어 지식이 제어기를 대체했다는 뜻이 아니라, 이미 학습된 기술을 고르는 상위 계층으로 유효했다는 뜻입니다.
다만 기술 목록 밖의 행동을 새로 만들어 내지는 못합니다. 가치함수가 잘못 보정되면 가능한 기술을 버리거나 불가능한 기술을 고를 수 있고, 한 단계의 작은 오차가 긴 과제 뒤에서 누적됩니다. 따라서 제 프로젝트에서는 SayCan을 곧바로 제어 정책으로 채택하지 않고, 자연어 요청을 검증 가능한 백엔드 후보로 바꾸는 라우팅 원리로만 참고합니다.
정량 결과를 읽는 법
| 비교 조건 | 계획 성공률 | 실행 성공률 | 해석 |
|---|---|---|---|
| No VF (가치함수 제거, 언어 점수만으로 순위) | 67% | 74% | 실행 가능성 근거 없이도 그럴듯한 순서는 어느 정도 맞지만 계획 단계에서 더 자주 틀림 |
| SayCan (모의 주방) | 84% | 74% | 두 점수를 곱해 결합한 전체 방법, 101개 지시 기준 |
| SayCan (실제 주방으로 일반화) | 81% | 60% | 환경이 바뀌면 계획은 유지되지만 실행 성공률이 더 떨어짐 |
논문은 7개 지시 유형에 걸쳐 101개의 실제 로봇 지시로 SayCan을 평가했습니다(Table 2). 가치함수를 제거한 조건도 계획 성공률 67%로 완전히 실패하지는 않지만, 전체 방법의 84%보다 17%p 낮습니다. 즉 언어모델의 계획 자체도 어느 정도 쓸 만하지만, 현재 상태에서 실행 가능한지를 보는 가치함수가 결합돼야 계획과 실행의 간극이 줄어듭니다.