강화학습과 PPO란 무엇인가 — 로봇에게 보상으로 가르치는 법
로봇에게 걷는 모습을 수천 장 보여 주는 방법만으로는, 미끄러질 때 어떻게 회복할지까지 가르치기 어렵습니다. 강화학습은 로봇이 직접 시도하고 그 결과에 […]
PPO
휴머노이드 보행을 PPO로 학습시키는 루프 — H1 환경에서 관측·보상·평가가 만나는 지점
H1 보행에서 처음 얻은 체크포인트는 평균 episode length가 743까지 올라갔지만, 저는 그것을 자연 보행이라고 받아들이지 않았습니다. 넘어지지 않는 시간과 사람이
Epoch·Iteration·Step은 무엇이 다른가: G1 PPO와 Octo 학습 횟수 읽는 법
Epoch·iteration·step을 같은 학습 횟수로 비교하면 왜 틀리는지, 현재 Octo 모방학습과 G1 RSL-RL PPO 코드의 sample·batch·optimizer update 경계를 실제 설정값으로 계산해 정리합니다.
PPO는 로봇을 어떻게 학습시키는가 — rollout과 clipping
최근 G1 실험에서는 PPO 업데이트를 거친 로봇이 넘어지지 않고 계속 걸었는데도 새 정책을 채택하지 않았습니다. 느린 보행 경로가 기준보다 짧아졌기
체크포인트는 결과가 아니다: PPO 정책을 검증하는 seed·scenario·metric·acceptance gate
G1 motion-tracking 학습에서 가장 판단하기 어려웠던 순간은 로봇이 바로 넘어질 때가 아니었습니다. 오히려 64개 환경이 10초 동안 모두 살아남고, 기준
평균 reward가 올랐는데 왜 로봇은 망가졌을까: PPO 학습 로그 읽는 법
G1 v391 학습에서는 TensorBoard의 숫자만 보면 정책이 빠르게 좋아지는 것처럼 보였습니다. Train/mean_reward는 11.704에서 414.803으로 올랐고, Train/mean_episode_length도 13.29에서 194.22로 늘었습니다. adaptive
PPO를 다시 돌리기 전에 관절을 직접 흔들어 본 이유: G1 contact actionability 진단
M95에서 다섯 관절에 작은 pulse를 넣자, 재현해 둔 여덟 개의 접촉 실패가 8개 모두 같은 방향으로 줄었습니다. 보통이라면 “유효한 방향을
PPO 하이퍼파라미터는 무엇부터 바꿔야 하나: G1에서 clip·gamma·lambda·batch를 고정한 이유
현재 G1 기본 설정은 한 번의 PPO iteration에서 98,304개의 transition을 모은 뒤 20번의 optimizer step을 수행합니다. 경로가 갑자기 무너지는 현상을
같은 seed인데 왜 PPO 결과가 달라질까: G1 학습의 난수·결정론·재현성 계약
G1 PPO의 seed 재현성을 확인하던 M68 실험에서는 seed 42·43·44가 모두 목표로 삼은 두 지표를 개선했습니다. vertical CAM z RMSE는 3.67~4.09%,
PPO vs SAC 차이 — 로봇 강화학습에서 데이터를 재사용하지 않는 이유
현재 G1 기본 설정은 PPO iteration 하나를 위해 4,096개 환경에서 각각 24 step을 수집합니다. 한 번에 생기는 transition은 98,304개입니다. 이