AI에게 “컵을 집어”라고 말하면 무엇이 일어나야 할까요. 챗봇이라면 문장으로 답할 수 있지만, 로봇이라면 컵이 어디에 있는지 보고, 팔을 어느 방향으로 움직일지 정하고, 부딪히지 않았는지 다시 확인해야 합니다. 저는 이 차이 때문에 Physical AI를 단순히 ‘현실 세계의 AI’라는 멋있는 말로 이해하기보다, 행동의 결과가 다시 다음 판단에 들어오는 AI라고 이해하게 됐습니다.
대답을 만드는 일과 행동을 만드는 일은 다릅니다
언어 모델은 대개 입력 문장을 받아 다음 문장이나 답변을 만듭니다. 반면 로봇은 같은 명령을 받아도 카메라 화면, 현재 자세, 바닥 상태, 관절이 움직일 수 있는 범위를 함께 고려해야 합니다. 답변이 어색하면 다음 문장을 고치면 되지만, 로봇의 행동이 어색하면 물체를 떨어뜨리거나 균형을 잃을 수 있어서 판단 뒤에 물리적인 결과가 남습니다.
그래서 로봇 AI에서는 한 번의 ‘정답’보다 반복이 중요합니다. 관찰하고, 행동하고, 결과를 보고, 다음 행동을 고르는 순환이 끊기지 않아야 합니다. 자율주행차가 차선을 보고 조향한 뒤 차가 실제로 어디로 갔는지 다시 보는 과정이나, 사람이 계단을 오르면서 발바닥 감각으로 다음 발의 힘을 조절하는 과정과 비슷합니다.
로봇이 행동하려면 적어도 네 가지 일이 이어집니다. 먼저 카메라나 센서가 주변과 몸의 상태를 관찰하고, 다음으로 모델이나 제어기가 지금 해야 할 행동을 제안합니다. 그 뒤 관절 제어기가 제안을 실제 움직임으로 바꾸고, 마지막으로 결과를 다시 관찰해 다음 판단의 재료로 돌려줍니다.
이 중 하나만 좋아도 전체가 잘 움직인다고 말하기는 어렵습니다. 좋은 언어 모델이 있어도 관절 제어가 없다면 로봇은 손을 뻗지 못하고, 보행 정책이 있어도 카메라와 명령의 의미가 연결되지 않으면 원하는 작업을 고르지 못합니다. 그래서 이 블로그에서는 모델 이름 하나보다 각 층이 어떤 입력을 받고 어디까지 책임지는지에 더 주의를 기울입니다.
왜 시뮬레이션이 먼저 나오고, 이 블로그는 무엇을 다루는가
로봇에게 처음부터 현실에서 수천 번의 시행착오를 시키는 일은 느리고 위험합니다. 그래서 먼저 시뮬레이션 안에 로봇과 바닥, 중력, 관절의 움직임을 만들고, 여러 조건에서 실패하는 방식을 살핍니다. 이 단계에서 배운 정책이 현실에서도 그대로 통한다는 뜻은 아니지만, 무엇을 검증해야 하는지 더 분명하게 만들 수 있습니다.
제 프로젝트도 이 순서로 구성하고 있습니다. 시뮬레이션에서 보행 정책을 학습하고 평가하는 개발 루프와, 자연어 명령을 현재 가능한 제어기로 보내는 실행 루프를 구분해 두었습니다. 전체 지도가 궁금하다면 로봇에게 자연어 명령을 내리기까지: 내가 구축 중인 Physical AI 파이프라인에서 두 루프가 만나는 지점을 볼 수 있습니다.
이 블로그는 ‘로봇이 곧 사람처럼 생각하게 된다’는 이야기를 하려는 공간은 아닙니다. 제가 확인하려는 것은 훨씬 작은 질문들입니다. 로봇은 무엇을 보고, 어떤 기준으로 행동을 고르며, 그 행동이 실제로 안전하고 의도한 결과와 맞는지를 어떻게 확인할 수 있을까요.
제 프로젝트에서 두 개의 루프를 나눈 이유
처음에는 자연어 명령부터 관절 움직임까지 하나의 큰 모델이 처리하면 간단하다고 생각할 수 있었습니다. 그러나 명령을 잘못 이해한 실패와 몸을 제대로 제어하지 못한 실패가 같은 결과로 나타나면 무엇을 고쳐야 하는지 알 수 없습니다. 그래서 현재 프로젝트에서는 정책을 학습하고 평가하는 개발 루프와, 사용자의 목표를 가능한 제어기로 보내는 실행 루프를 분리했습니다. 두 루프는 마지막에 만나지만 통과 기준과 책임은 따로 둡니다.
시뮬레이션 → 관찰·행동·보상 설계 → PPO 학습 → 고정 평가 → 체크포인트 보존
자연어 목표 → 작업 분류 → 제어 백엔드 선택 → 관절 명령 → 실행 결과 확인
현재 G1 정책은 가상 환경에서 직선 전진 명령을 따라 걷는 첫 기준선을 통과했습니다. 하지만 회전, 측면 이동, 외란 회복, 실제 로봇의 센서와 구동기 차이는 아직 같은 수준으로 검증하지 않았습니다. 저는 이 결과를 “Physical AI가 완성됐다”고 부르지 않고 이동 계층의 제한된 조건이 통과했다고 기록합니다. 이렇게 범위를 좁혀야 다음에 조작 작업을 연결했을 때 보행이 무너졌는지, 상위 명령이 잘못됐는지를 나누어 볼 수 있습니다.
오늘의 배움은 Physical AI의 핵심이 거대한 모델 한 개가 아니라 서로 다른 실패를 구분할 수 있는 연결 구조라는 것입니다. 다음 질문은 보존한 보행 정책을 실행 계층에 연결할 때 관측 순서와 행동 단위를 어떻게 동일하게 보장할 것인가입니다.