기록 메모. 이 글은 학습 시간을 늘리는 것보다 멈춰야 할 이유를 먼저 정하는 편이 낫다는 판단에서 시작했다. 결과가 좋아 보이는 순간에도 무엇을 통과해야 다음 단계로 갈 수 있는지 미리 정리하려 했다.
학습이 조금씩 나아 보일 때, 나는 언제 멈춰야 할까? 강화학습은 시행착오를 통해 행동을 고르는 방식을 배우는 방법이라, 실행 시간이 길수록 더 좋아질 것처럼 느껴지기 쉽다. 하지만 목표가 불분명한 채 오래 돌린 학습은, 나중에 무엇을 얻었는지 설명하기 어려운 결과를 남길 수 있다. 이 글은 오래 실행하는 것보다 멈출 기준을 먼저 세우게 된 이유를 기록한다.
넘어지지 않는 것만으로는 충분하지 않았다
휴머노이드 로봇이 넘어지지 않는 모습은 분명 중요한 출발점이다. 그러나 오래 서 있거나 움직인다는 사실만으로, 원하는 방향을 잘 따르는지나 자세가 자연스러운지는 판단할 수 없다. 처음에는 한 가지 좋은 숫자를 다음 단계로 가는 신호로 보고 싶었지만, 그 선택은 다른 문제를 숨길 수 있다고 봤다. 그래서 생존 여부와 움직임의 질을 같은 질문으로 묶지 않고, 각각을 따로 확인하기로 했다.
실행 전에 다음 선택지를 정한다
학습을 시작하고 나면 “조금만 더 해 보면 좋아질 것”이라는 기대가 생긴다. 나는 이 기대만으로 실행을 이어 가는 대신, 어떤 변화가 보이면 유지할지와 어떤 신호가 보이면 방향을 바꿀지를 먼저 적어 둔다. 이 기준은 결과를 미리 정해 놓기 위한 것이 아니라, 시간과 계산 자원을 같은 질문에 계속 쓰지 않기 위한 장치다. 기준이 있으면 좋은 결과도 왜 좋은지, 애매한 결과도 왜 보류해야 하는지를 설명할 수 있다.
한 번의 변경에는 하나의 이유를 남긴다
결과가 기대와 다를 때는 여러 설정을 한꺼번에 바꾸고 싶어진다. 하지만 여러 선택을 같이 바꾸면 다음 결과가 달라져도 원인을 분리할 수 없다. 그래서 한 번의 학습에서는 가능한 한 한 가지 핵심 의심에만 대응하고, 그 선택이 어떤 행동 변화를 기대했는지 함께 남긴다. 예상과 다른 결과가 나와도 이 기록이 있으면 실패를 막연한 좌절이 아니라 다음 질문의 재료로 바꿀 수 있다.
개선이 없으면 실행보다 진단을 택한다
같은 기준에서 변화가 보이지 않는다면, 더 오래 실행하는 것이 늘 좋은 선택은 아니다. 환경의 조건, 로봇이 보는 정보, 보상 방식, 평가 기준 중 어디가 문제인지 다시 나누어 보는 편이 더 필요할 때가 있다. 나는 반복 실행을 습관처럼 이어 가는 대신, 막힌 지점을 먼저 진단하고 이전의 기록과 비교하는 쪽을 택한다. 이 전환은 포기가 아니라, 질문을 더 정확하게 만들기 위한 다음 단계다.
학습의 속도는 멈추는 방식에서 드러난다
학습의 빠르기를 실행 시간만으로 판단하면, 잘못된 방향으로 오래 간 시간을 놓치기 쉽다. 반대로 멈출 이유와 다음 질문을 남기면, 새로운 시도도 이전의 실패 위에서 시작할 수 있다. 오늘의 결론은 간단하다. 좋은 학습은 오래 돌린 기록이 아니라, 무엇을 확인했고 왜 다음 방향을 택했는지 설명할 수 있는 기록이다.
다음에는 넘어지지 않는 정책이 왜 곧바로 좋은 보행을 뜻하지 않는지, 평가의 기준을 더 좁혀서 적어 보려 한다.