PPO를 다시 돌리기 전에 관절을 직접 흔들어 본 이유: G1 contact actionability 진단
M95에서 다섯 관절에 작은 pulse를 넣자, 재현해 둔 여덟 개의 접촉 실패가 8개 모두 같은 방향으로 줄었습니다. 보통이라면 “유효한 방향을 […]
PPO
PPO 하이퍼파라미터는 무엇부터 바꿔야 하나: G1에서 clip·gamma·lambda·batch를 고정한 이유
현재 G1 기본 설정은 한 번의 PPO iteration에서 98,304개의 transition을 모은 뒤 20번의 optimizer step을 수행합니다. 경로가 갑자기 무너지는 현상을
같은 seed인데 왜 PPO 결과가 달라질까: G1 학습의 난수·결정론·재현성 계약
G1 PPO의 seed 재현성을 확인하던 M68 실험에서는 seed 42·43·44가 모두 목표로 삼은 두 지표를 개선했습니다. vertical CAM z RMSE는 3.67~4.09%,
PPO vs SAC 차이 — 로봇 강화학습에서 데이터를 재사용하지 않는 이유
현재 G1 기본 설정은 PPO iteration 하나를 위해 4,096개 환경에서 각각 24 step을 수집합니다. 한 번에 생기는 transition은 98,304개입니다. 이
G1 보행 정책을 어떻게 학습하고 있는가 — PPO 루프와 지금 학습을 멈춘 이유
G1이 넘어지지 않고 앞으로 걸었습니다. 처음에는 이것만으로 학습이 성공했다고 생각하기 쉽습니다. 하지만 최근 실험에서 가장 중요한 판단은 새 체크포인트를 채택한
위치·속도·토크 제어는 무엇이 다른가: G1의 PPO action이 관절 토크가 되는 과정
G1 PPO 실험에서 정책은 한동안 두 발을 바닥에 붙인 채 움직였습니다. reward를 여러 차례 바꿔도 single_support는 0이었습니다. 정책이 발을 들기