로봇에게 걷는 모습을 수천 장 보여 주는 방법만으로는, 미끄러질 때 어떻게 회복할지까지 가르치기 어렵습니다. 강화학습은 로봇이 직접 시도하고 그 결과에 대한 점수를 받으며 행동을 고치는 방식입니다. 여기서 중요한 것은 누가 정답 동작을 하나씩 알려 주는지가 아니라, 어떤 결과를 좋은 결과로 판단할지 정하는 일입니다.
보상은 방향표이고, rollout은 먼저 해 보는 과정입니다
강화학습에서 보상은 행동 뒤에 환경이 돌려주는 숫자입니다. 로봇이 앞으로 잘 이동하고 균형을 유지했다면 좋은 신호를 주고, 넘어지거나 불필요하게 큰 힘을 썼다면 좋지 않은 신호를 줄 수 있습니다. 이 숫자는 로봇에게 ‘잘했다’고 말하는 단순한 칭찬이 아니라, 다음에 어떤 행동을 더 시도해야 할지 정하는 방향표입니다.
문제는 방향표가 현실의 목표 전체를 담기 어렵다는 데 있습니다. 이동 거리만 보상하면 로봇은 불안정하게 달릴 수 있고, 넘어지지 않는 것만 보상하면 움직이지 않을 수 있습니다. 그래서 보상 설계는 원하는 행동을 문장으로 적는 일이 아니라, 로봇이 찾을 수 있는 편법까지 생각해 평가 기준을 만드는 일입니다.
강화학습에서는 현재 정책으로 여러 번 행동해 본 기록을 모읍니다. 이 한 묶음의 시도 기록을 rollout이라고 부릅니다. 로봇이 어떤 상태에서 어떤 행동을 골랐고, 그 뒤에 어떤 보상을 받았는지를 모아 두면, 정책은 어떤 선택이 더 나은 결과와 연결됐는지 조금씩 배울 수 있습니다.
이 과정은 시험을 본 뒤 틀린 문제만 표시하는 것과 비슷하지만, 답지가 완전히 주어지지 않는다는 점이 다릅니다. 로봇은 행동의 결과를 한참 뒤에 보기도 하고, 여러 행동이 함께 결과를 만들기도 합니다. 따라서 학습은 한 행동을 무조건 칭찬하거나 벌주는 대신, 여러 시도에서 반복해서 나타난 관계를 조심스럽게 추정합니다.
PPO가 변화를 제한하는 이유, 그리고 평가가 묻는 것
PPO는 Proximal Policy Optimization의 약자로, 한 번의 업데이트가 기존 정책을 너무 멀리 벗어나지 않게 제한하는 강화학습 방법입니다. 새로 얻은 rollout이 좋아 보이더라도, 정책을 한꺼번에 크게 바꾸면 이전에 겨우 찾은 균형 감각까지 잃을 수 있습니다. PPO의 clipping은 이런 과도한 변화를 눌러 주는 안전장치에 가깝습니다. PPO가 왜 모은 경험을 한 번 쓰고 버리는지, 그리고 그 경험을 계속 재사용하는 방식과는 무엇이 다른지는 PPO와 SAC를 비교한 글에서 따로 정리했습니다.
이 제한이 성공을 보장하는 것은 아닙니다. 보상 자체가 잘못됐거나 관찰 정보가 부족하면, 조금씩 안정적으로 잘못된 행동을 배울 수도 있습니다. 그래서 PPO의 손실값 하나만 보고 학습이 잘됐다고 말하지 않고, 별도의 장면에서 실제 움직임을 평가해야 합니다.
학습은 보상을 높이는 방향을 찾는 과정이고, 평가는 그 방향이 제가 원한 행동과 맞는지 확인하는 과정입니다. 같은 수치가 좋아져도 다른 조건에서 바로 무너지거나, 특정 장면에서만 잘 움직일 수 있습니다. 이 분리를 지키지 않으면 학습 로그의 개선을 곧바로 로봇의 개선으로 오해하게 됩니다.
현재 프로젝트의 PPO 글은 rollout, 정책, 가치 추정, clipping이 실제 학습 주기에서 어떻게 이어지는지 더 자세히 다룹니다. PPO는 로봇을 어떻게 학습시키는가로 이어 읽으면, 오늘의 개념이 보행 환경의 관측과 보상 안에서 어떤 의미를 갖는지 볼 수 있습니다. 오늘의 요점은 보상이 로봇의 목적을 완벽히 번역하지 못한다는 사실을 인정하고, 작은 업데이트와 별도 평가를 함께 두는 데 있습니다.