학습을 자동으로 돌린다는 말보다 중요한 것 — 에이전트가 다음 판단을 만드는 방식

로봇 학습은 버튼을 누르고 오래 기다리면 저절로 좋아질까요? PPO는 시행착오를 반복하며 행동 정책을 다듬는 강화학습 방법이지만, 실제 작업에서 더 어려운 일은 학습을 한 번 돌리는 것보다 결과를 어떻게 읽고 다음 변경을 무엇으로 제한할지 정하는 일이었습니다. 그래서 저는 학습기를 마음대로 대신 움직이는 자동화보다, 한 번의 결과를 다음 판단으로 바꾸는 에이전트 루프를 먼저 정리하고 있습니다.

학습 루프에서 정말 반복되는 것은 계산만이 아니었습니다

처음에는 학습 결과가 나오면 보상이나 환경을 바로 고쳐 다시 돌리는 방식도 생각했습니다. 하지만 평균 숫자 하나가 좋아졌다고 해서 로봇의 움직임이 나아졌다고 말할 수는 없었고, 한 번에 여러 조건을 바꾸면 무엇이 영향을 주었는지도 알기 어려웠습니다. 그래서 실행 뒤에는 반드시 평가 기록을 남기고, 그 기록이 다음 변경안의 출발점이 되도록 순서를 고정했습니다.

여기서 말하는 학습 루프는 ‘학습 실행 → 평가 → 다음 가설’이 이어지는 반복입니다. 학습은 후보 행동을 만들어 내는 과정이고, 평가는 그 행동이 미리 정한 기준을 통과했는지 확인하는 과정입니다. 둘 사이에 판단이 빠지면 같은 실험을 다른 이름으로 되풀이하거나, 보기 좋은 수치만 따라가게 됩니다.

제가 말하는 에이전트는 자동으로 결정하는 로봇이 아닙니다

에이전트라는 말은 거창하게 들리지만, 이 작업에서는 정해진 자료를 읽고 정해진 형태의 기록을 남기는 역할 단위에 가깝습니다. 예를 들어 평가 에이전트는 평가 기록과 기준을 보고 통과·보류·실패라는 판정을 남기고, 진단 역할은 실패가 처음 드러난 지점을 요약합니다. 둘 다 학습 설정을 직접 바꾸거나 실물 로봇에 배포하지는 않습니다.

이 경계를 둔 이유는 에이전트의 문장이 그럴듯하더라도 실험의 근거를 대신할 수는 없기 때문입니다. 결과가 없는 상태에서 보상을 바꾸는 선택지는 버렸고, 먼저 평가 근거를 만들고 그 다음에만 변경안을 쓰도록 했습니다. 중요한 결정은 사람이 승인하고, 에이전트는 그 결정에 필요한 증거와 질문을 정리하는 쪽을 맡습니다.

한 번의 학습이 다음 판단으로 가는 흐름

아래 그림은 한 번의 결과가 다음 실험으로 이어지는 경로를 역할별로 나눈 것입니다. ‘증거’는 누군가 나중에 같은 판단을 검토할 수 있게 남긴 평가 결과, 관측 기록, 실행 조건을 뜻합니다. 에이전트 사이의 화살표는 실행 권한을 넘긴다는 뜻이 아니라, 다음 역할이 판단할 수 있도록 자료를 넘긴다는 뜻입니다.

이 도식에서 핵심은 화살표가 학습을 빠르게 만드는 장치가 아니라, 다음 단계로 넘어갈 조건을 보여 준다는 점입니다. 평가 결과가 없으면 변경안을 만들지 않고, 평가에서 통과하지 못한 정책은 다음 단계의 후보로 올리지 않습니다. 이렇게 하면 ‘뭔가 바꿔 보자’는 충동보다 ‘무슨 근거가 있어야 바꿀 수 있는가’가 먼저 남습니다.

에이전트별 역할: 읽는 것, 남기는 것, 하지 않는 것

역할을 이름만으로 나누면 결국 모두가 같은 일을 하는 것처럼 보입니다. 그래서 각 역할에는 입력, 산출물, 그리고 의도적으로 주지 않은 권한을 함께 정했습니다. 특히 ‘읽기 전용’은 자료를 확인하고 상태를 알릴 수는 있어도 학습 조건이나 배포 상태를 바꾸지 못한다는 뜻입니다.

역할	읽는 것	남기는 것	하지 않는 일
평가 에이전트	평가 결과와 사전 기준	통과·보류·실패 판정, 부족한 증거	학습·보상·환경 설정 변경
진단 에이전트	실패 기준, 비교 기록, 관측 흔적	처음 어긋난 지점과 하나의 확인 질문	원인을 확정하거나 수정 실행
리서치·근거 검토 역할	진단에서 좁힌 질문과 참고 자료	검토할 근거, 적용 조건, 한계	외부 사례를 정답처럼 복사
변경안 작성 역할	판정·진단·근거와 보호 경계	가장 작은 실험안, 예상 관측, 위험 요소	코드·모델·보상 직접 변경
준비 상태 점검 역할	기록, 근거, 연결 상태	누락 항목과 다음 준비 조건	실행 환경 연결 또는 배포 승인
작업 흐름 감시 역할	기록 사이의 누락, 오래된 근거, 상태 변화	현재 상태 요약과 확인이 필요한 지점	작업 시작, 파일 이동·삭제, 저장소 반영
사람	각 역할이 남긴 증거와 제안	승인·보류·반려와 실제 실행 결정	판단 책임을 자동화에 넘기기

역할을 나눈 이유

학습 담당 역할은 현재 기록과 실행 조건을 보고 다음 주기에 확인할 범위를 제안합니다. 여기서 대안은 한 번에 많은 값을 손보는 방식이지만, 그렇게 하면 원인과 결과가 엉키기 때문에 작은 질문 하나로 제안을 제한합니다. 실행이 끝나면 그 역할은 결과를 평가 쪽에 넘기고, 스스로 ‘좋아졌다’고 선언하지 않습니다.

평가 역할은 미리 정해 둔 행동 기준과 기록을 대조해 통과 여부를 판단합니다. 학습 중 보상이 올라간 사실만으로 통과를 선언하는 길은 버렸는데, 로봇은 목표와 다른 방식으로 높은 보상을 얻을 수도 있기 때문입니다. 그래서 평가는 결과를 칭찬하는 단계가 아니라, 다음 변경이 필요한지 멈춰야 하는지를 가르는 관문이 됩니다.

진단과 리서치 역할은 실패 판정 뒤에 붙습니다. 진단은 기록에서 먼저 어긋난 신호를 찾고, 리서치는 그 현상을 이해하는 데 도움이 될 수 있는 논문이나 구현 사례를 정리합니다. 다만 외부 사례를 그대로 가져오는 대신, 현재 작업의 조건에서 확인할 수 있는 작은 가설로 바꿔 제안하게 했습니다.

준비 상태 점검과 작업 흐름 감시 역할은 연구를 대신 수행하는 역할이 아닙니다. 전자는 다음 판단에 필요한 기록과 근거가 빠지지 않았는지 확인하고, 후자는 기록 사이에서 멈춘 곳이나 오래된 판단을 알려 줍니다. 둘을 분리한 이유는 상태를 보고하는 일과 실제 행동을 지시하는 일을 섞지 않기 위해서였습니다.

자동화가 멈추는 지점도 설계해야 했습니다

마지막으로 안전 검토와 사람의 승인은 자동화하지 않는 부분입니다. 성공의 기준이나 안전과 직접 연결된 조건을 바꾸는 일은, 이전 결과와 위험을 함께 보고 사람이 결정해야 합니다. 에이전트는 변경안을 초안으로 남길 수 있지만, 실행 권한까지 갖지는 않습니다.

이 중단 지점은 자동화가 부족해서 생긴 빈칸이 아닙니다. 근거가 없을 때도 다음 행동을 제안하게 두면, 그럴듯한 설명이 관측보다 앞서게 됩니다. 그래서 이 루프에서는 ‘추가 실험이 필요하다’, ‘자료가 부족하다’, ‘사람의 판단이 필요하다’도 유효한 산출물로 취급합니다.

자동화 파이프라인은 ‘알아서 실행’과 다릅니다

자동화라는 말을 들으면 에이전트가 학습을 계속 돌리고 스스로 배포하는 모습을 떠올리기 쉽습니다. 제가 구성하는 자동화는 그보다 좁습니다. 학습·평가·기록 사이에서 빠지기 쉬운 인수인계, 즉 어떤 근거에서 다음 질문이 나왔는지를 남기는 일을 줄이는 것이 목적입니다.

그래서 현재 에이전트들은 주로 자료를 읽고, 요약하고, 제안하거나 멈춤을 알리는 역할을 합니다. 실행 중인 학습을 멈추거나 설정을 고치고, 결과를 실제 로봇의 제어기로 승격하는 일은 자동으로 맡기지 않습니다. 이 제한은 덜 멋져 보일 수 있지만, 연구 기록과 실제 행동 사이의 책임을 흐리지 않기 위해 남겨 둔 경계입니다.

결국 남기고 싶은 것은 다음 사람이 이해할 수 있는 이유입니다

이 루프를 만들며 배운 것은 학습을 많이 돌리는 것보다, 한 번의 결과가 다음 판단으로 어떻게 이어졌는지를 보존하는 일이 더 중요하다는 점입니다. 에이전트는 연구자를 대신해 결론을 내리는 존재가 아니라, 기록과 검토 사이의 빈칸을 줄이는 도구로 두는 편이 맞았습니다. 다음에는 이 흐름에서 ‘평가 기준’을 어떻게 정하고 왜 보상 수치와 분리해서 보는지 따로 기록해 보려 합니다.