언어 모델에게 로봇 팔을 그냥 맡겨 보면 어떻게 될까요. 최근 Robocurve라는 곳에서 이걸 실제로 해 보고 결과를 공개했습니다. 흥미로운 건 성공률 자체가 아니라, 두 과제 사이의 격차였습니다. 블록을 그릇에 넣는 과제는 95%가 나왔고, 퍼즐 조각을 홈에 끼우는 과제는 10%에 그쳤습니다. 같은 모델, 같은 팔로 진행한 이야기입니다.
먼저 짚어둘 것이 있습니다. 이건 OpenAI가 낸 발표가 아니라 제3자가 진행한 평가입니다. 국내에는 “로봇 팔을 제어하는 GPT-6 Astra”라는 제목으로 소개됐는데, 모델이 OpenAI 것일 뿐 실험과 채점은 Robocurve 쪽에서 했습니다. 뒤에서 다시 말하겠지만 이 구분은 결과를 읽는 방식에도 영향을 줍니다.
무엇을 어떻게 시켰나
로봇은 양팔 구성입니다. 팔마다 6자유도에 평행 그리퍼가 달려 있고, 카메라는 위에서 내려다보는 것 하나와 양쪽 손목에 하나씩 총 세 대입니다. 여기에 관절의 현재 상태(고유수용감각)가 함께 들어갑니다.
핵심은 모델이 무엇을 출력하느냐입니다. 모델은 관절 각도를 직접 계산하지 않습니다. move_to라는 명령으로 손끝이 도달할 절대 자세(x, y, z와 yaw·pitch·roll, 그리고 그리퍼 열림/닫힘)를 팔마다 지정할 뿐이고, 그 자세를 만들 관절 각도는 로봇 쪽 역기구학이 풀어 줍니다. 역기구학(IK)은 “손끝을 여기로”라는 목표를 “각 관절을 몇 도로”라는 답으로 바꾸는 계산입니다.
여기에 실행 제약이 붙습니다. 추론 강도는 중간, 한 번의 시도에 쓸 수 있는 모델 호출은 20회, 속도는 최대치의 25%로 제한, 안전 가드레일은 기본값입니다.
두 과제, 그리고 갈린 결과
| 과제 | GPT-6 Astra | Claude Fable 5.1 | Claude Fable 5 |
|---|---|---|---|
| 블록을 그릇에 넣기 | 19/20 (95%) 2.5분 · $0.94 |
8/20 (40%) 6.8분 · $2.12 |
1/20 (5%) 8.2분 · $2.69 |
| 퍼즐 조각을 홈에 끼우기 | 2/20 (10%) 3.4분 · $1.36 |
2/20 (10%) 5.9분 · $2.18 |
0/20 (0%) 7.9분 · $2.63 |
블록 과제만 보면 세대 차이가 뚜렷합니다. 5%에서 40%로, 다시 95%로 올라갑니다. 그런데 퍼즐 과제로 넘어가면 그 격차가 사라집니다. Astra와 Fable 5.1이 나란히 2/20입니다. 블록에서 55%포인트를 벌린 모델이, 퍼즐에서는 앞선 세대와 같은 자리에 서 있습니다.
왜 하나는 풀리고 하나는 안 풀렸을까
두 과제의 차이를 이렇게 볼 수 있습니다. 블록을 그릇에 넣는 일은 목표 위치에 대략 가져다 놓으면 되는 문제입니다. 그릇은 넓고, 조금 어긋나도 블록은 안으로 굴러 들어갑니다. 허용 오차가 과제 자체에 내장돼 있는 셈입니다.
퍼즐 조각을 홈에 끼우는 일은 다릅니다. 조각과 홈의 간격이 좁고, 방향이 조금만 틀어져도 걸립니다. 게다가 한 번 걸리고 나면 그때부터는 위치를 지정하는 문제가 아니라 접촉하면서 힘을 조절하는 문제로 바뀝니다. 살짝 눌러 보고, 걸리면 방향을 틀고, 다시 밀어 넣는 과정이 필요합니다. 절대 자세를 지정하는 move_to 인터페이스는 이 종류의 조정을 표현하기에 좋은 도구가 아닙니다.
즉 이 결과는 “모델이 얼마나 똑똑한가”만의 문제가 아니라, 모델에게 준 행동 표현이 그 과제를 담을 수 있는가의 문제이기도 합니다. 손끝 좌표만 지정할 수 있는 손으로는, 접촉 이후에 필요한 미세 조정을 애초에 말할 방법이 없습니다.
이 경계, 제 실험에서도 같은 자리에 있었습니다
이 대목이 제게 특히 흥미로웠습니다. 저는 G1 양팔 매니퓰레이션에서 완전히 다른 방식으로 접근하고 있습니다. LLM에게 팔을 맡기는 게 아니라, 학습된 보행 정책 위에 제어기를 얹어 손목을 움직이는 구조입니다.
그런데 막힌 지점이 묘하게 겹칩니다. 저희 쪽에서도 손목을 정해진 위치로 평행이동시키는 것까지는 통과했습니다. 양손을 동시에 20mm씩 뻗는 조건도 넘어짐 없이 지나갔습니다. 그런데 실제로 물체에 닿아 쥐려는 순간 — 손끝 기준점과 실제 접촉면이 어긋나 한쪽만 닿는 문제로 — 멈춰 섰습니다.
접근 방식도, 사용하는 기술도, 로봇도 다릅니다. 그런데 “가져다 놓기는 되는데 맞물리게 하기는 안 된다”는 경계는 같은 자리에 있었습니다. 이게 우연인지, 아니면 위치 제어와 접촉 제어 사이에 실제로 큰 계단이 하나 있는 것인지는 이 두 사례만으로 단정할 수 없습니다. 다만 서로 다른 경로로 같은 벽에 닿았다는 사실 자체는 기록해 둘 만합니다.
이 결과를 어디까지 믿을 것인가
원문이 스스로 밝힌 한계가 꽤 솔직합니다. 그대로 옮기면 이렇습니다.
- Astra 시험은 Fable 시험보다 이틀 뒤에 진행됐고, 두 모델을 번갈아 가며 돌리지 않았습니다.
- 블록 과제 비교는 같은 장비에서 이뤄지지 않았습니다.
- 채점은 사람이 했고, 채점자는 어느 모델인지 알고 있었습니다.
- 비용에는 Astra 입력의 약 20%에 적용된 프롬프트 캐싱이 반영돼 있지 않습니다.
- 모든 모델을 중간 추론 강도에서만 돌렸습니다.
이 조건들을 알고 보면, 블록 과제의 95% 대 40%라는 숫자는 그대로 “모델 성능 차이”로 옮기기 어렵습니다. 장비가 다르고, 날짜가 다르고, 채점이 눈가림이 아니었습니다. 퍼즐 과제에서는 두 모델 모두 20회 중 2회만 성공했습니다. 다만 같은 성공 횟수만으로 두 모델의 성능이 같거나 조건 차이의 영향이 사라졌다고 볼 수는 없습니다. 여기서 확인할 수 있는 것은 이 평가 설정에서 두 모델 모두 성공률이 낮았다는 점입니다.
그래서 저는 이 실험에서 가져갈 것을 이렇게 정리했습니다. 이 결과로 세대별 성능 순위를 정하기는 어렵지만, 이 평가 설정에서 어떤 과제에 어려움이 남았는지는 다음 검증을 설계하는 출발점으로 삼을 수 있습니다.
그래서 다음에 해 보려는 것
이 실험을 읽고 나서 제 로드맵에 하나를 추가했습니다. 다만 순서가 있습니다.
먼저 통합 시나리오 학습을 통과시켜야 합니다. 지금 저희 쪽에서 아직 완성되지 않은 것이 걷기 → 멈추기 → 잡기로 이어지는 연속 동작입니다. 걷는 것도 되고, 골반을 고정한 상태에서 잡는 것도 되지만, 둘을 하나의 시나리오로 이어 붙이면 손을 뻗는 순간 무너집니다. 보행과 매니퓰레이션이 한 시나리오 안에서 학습되고 검증되는 단계를 먼저 넘어야 합니다.
그다음에 그 위에 LLM을 붙여 볼 계획입니다. 특정 과제를 말로 지시하고, 모델이 양팔 매니퓰레이션을 계획해 수행하게 하는 테스트입니다. 이번 Robocurve 평가와 같은 구도이되, 아래가 학습된 전신 정책이라는 점이 다릅니다.
이 순서를 지키려는 이유가 있습니다. 통합 시나리오가 불안정한 상태에서 LLM을 먼저 붙이면, 실패했을 때 그게 모델의 계획이 틀린 것인지 아래 제어가 못 따라간 것인지 구분할 수 없습니다. 이번 평가에서 블록 과제의 95%와 40% 차이를 성능 차이로 단정하기 어려웠던 이유도 결국 같은 종류의 문제였습니다 — 조건이 섞여 있으면 원인을 나눌 수 없습니다.
그리고 이번 결과에서 미리 배워 갈 것이 하나 더 있습니다. LLM을 붙일 때 모델에게 어떤 행동 언어를 줄지를 처음부터 설계해야 한다는 점입니다. 손끝 절대 자세만 지정할 수 있게 하면, 접촉 이후의 조정이 필요한 과제에서는 같은 벽에 부딪힐 가능성이 큽니다. 잡기 직전까지 데려다 놓는 일과, 맞물릴 때까지 힘을 조절하는 일은 서로 다른 언어를 요구합니다.
남는 것
LLM에게 로봇 팔을 직접 맡기는 방식은 생각보다 잘 작동합니다. 다만 잘 작동하는 범위가 “허용 오차가 넉넉한 배치 작업”까지라는 것도 같이 드러났습니다.
이 실험의 값어치는 95%라는 숫자보다 벽의 위치를 알려 줬다는 데 있다고 생각합니다. 저는 전혀 다른 경로로 접근하고 있는데도 같은 자리에서 멈춰 있었고, 다음에 무엇을 먼저 통과시켜야 하는지도 그 덕분에 더 분명해졌습니다. 위에 적은 계획은 아직 계획일 뿐이고, 통합 시나리오가 통과하기 전까지는 LLM을 붙이는 단계로 넘어가지 않습니다. 그 순서를 지키는 것 자체가 이번 평가에서 배운 것 중 하나입니다.
참고: Robocurve의 평가 원문(2026-09-04) · GeekNews 소개. 이 글의 수치는 전부 원문에서 가져왔습니다.