기록 메모 — 보행 정책 학습은 오래 돌릴수록 좋은 걸까, 아니면 실패를 빨리 확인할 수 있을수록 좋은 걸까?
처음에 마주친 병목
강화학습은 시행착오를 통해 보상을 더 많이 받는 행동을 찾는 방법이다. 하지만 로봇 한 대가 한 번씩만 넘어져 보면, 보상 설계가 맞는지 확인하는 데도 시간이 오래 걸린다. 이 논문은 학습 알고리즘 하나를 바꾸기보다, 많은 가상 로봇을 동시에 돌려 실험의 회전 속도를 높이는 쪽을 택했다.
판단: 빠른 학습은 빠른 판단을 위한 수단
논문은 GPU에서 많은 시뮬레이션 환경을 병렬로 실행하고, 난이도를 점차 높이는 커리큘럼을 함께 사용한다. 커리큘럼은 처음부터 어려운 지형을 던지는 대신, 기본 동작을 익힌 뒤 다음 문제로 넘어가게 하는 순서 설계다. 여기서 중요한 것은 단순히 짧은 시간 안에 학습했다는 결과보다, 가설을 바꾸고 다시 검증하는 주기가 줄었다는 점이다.
내가 적용한 방식과 경계
현재 워크스페이스에서도 Isaac 계열 시뮬레이션에서 병렬 환경을 활용한다. 다만 원 논문의 설정값을 그대로 복사하지는 않는다. 로봇 모델과 과제, 안전 기준이 달라지면 같은 숫자라도 전혀 다른 의미를 가질 수 있으므로, 지금은 학습을 길게 돌리는 것보다 중간 평가와 멈출 기준을 먼저 기록하는 방식에 집중하고 있다.
다음 단계
빠르게 학습시키는 방법만으로는 사람다운 보행이나 안정적인 균형을 설명할 수 없다. 팔과 다리가 균형에 어떻게 함께 기여하는지를 다룬 다음 논문이 그 빈칸을 메워 준다.