기록 메모. 이 글은 한 번 나온 결과를 다음 달에도 같은 질문으로 다시 확인하려면 무엇이 남아야 하는지 고민하며 쓴 기록이다. 숫자 하나만 저장하는 방식은 버리고, 조건·변경·결정을 함께 남기는 쪽을 택했다.
지난주에 본 결과를 오늘 다시 설명할 수 없다면, 그 실험은 끝난 것일까? 로보틱스 실험에서는 실행 시간이 길다는 사실보다, 결과가 왜 나왔는지 다시 판단하지 못하는 일이 더 큰 비용이 된다. 처음에는 점수와 그래프만 보관해도 충분하다고 생각했지만, 숫자만으로는 그 결과가 어떤 선택에서 나왔는지 알기 어려웠다. 이 글은 실험을 결과 파일이 아니라 다음 판단으로 이어지는 기록 단위로 남기는 이유를 적는다.
수치 하나는 질문을 대신하지 못했다
수치가 오르거나 내려간 사실은 중요하지만, 그것만으로 무엇을 배웠는지는 알 수 없다. 로봇이 오래 넘어지지 않았더라도 움직임이 원하는 방향을 따르는지, 자세가 불안정하지 않은지는 또 다른 문제다. 나는 수치만 보고 다음 변경을 고르는 방식은 버리기로 했다. 대신 이번 실행에서 무엇을 의심했고 무엇을 바꾸었는지부터 기록해, 결과를 다시 볼 때 질문을 복원할 수 있게 했다.
실험을 시작하기 전에 멈출 이유를 적는다
학습을 시작한 뒤에는 시간이 아까워서 조금만 더 돌려 보고 싶은 마음이 생긴다. 그러나 무엇이 나와야 다음 단계로 갈 수 있는지, 무엇이 나오면 방향을 바꿔야 하는지를 미리 정하지 않으면 실행 시간 자체가 목표가 되기 쉽다. 그래서 실행 전에 이번에 확인하려는 가설과 통과 또는 중단의 기준을 짧게 적는다. 이 기준은 결과를 억지로 좋게 보이게 하는 장치가 아니라, 나중에 판단을 바꾸어야 할 때 그 이유를 남기는 기준점이다.
한 번에 하나의 의심을 다룬다
문제가 보이면 여러 설정을 같이 바꾸고 싶은 유혹이 있다. 하지만 그 방식은 다음 결과가 좋아져도 어느 변경이 영향을 주었는지 알 수 없게 만든다. 그래서 가능한 한 한 번의 실험에는 하나의 핵심 의심과 그에 맞는 변경을 둔다. 예상과 다른 결과가 나와도 실패를 숨기지 않고, 환경의 문제인지 설정의 문제인지 정책의 한계인지 다음에 구분할 수 있게 남긴다.
관찰은 숫자의 설명이 된다
로봇의 행동은 숫자만으로 모두 보이지 않는다. 기록에서 중요한 것은 특정 수치를 적는 것뿐 아니라, 움직임의 어느 부분이 기대와 달랐는지와 그 차이가 다음 판단에 어떤 영향을 주는지를 설명하는 일이다. 그래서 결과를 볼 때는 정량적인 변화와 함께 반복해서 나타난 동작의 특징을 같이 적는다. 이 두 기록이 있어야 같은 수치를 보더라도 다른 의미로 읽는 실수를 줄일 수 있다.
끝난 실험은 다음 실험의 시작점이 된다
실험이 끝나면 결과를 따로 보관하고 끝내는 대신, 가설·변경·관찰·다음 결정을 하나의 문맥으로 묶는다. 이렇게 쌓인 기록은 몇 주 뒤에도 같은 선택을 반복하지 않게 하고, 비슷한 문제가 다시 나타났을 때 이전의 판단을 비교할 수 있게 한다. 처음에는 기록이 실행을 늦출 것처럼 보였지만, 실제로는 중단된 사고를 다시 이어 주는 역할을 했다. 오늘의 결론은 간단하다. 재현 가능한 실험은 같은 명령을 다시 실행하는 데서 끝나지 않고, 같은 판단을 다시 검토할 수 있어야 한다.
다음에는 학습을 오래 돌리는 것보다 언제 멈추고 방향을 바꿔야 하는지가 왜 더 중요한지 적어 보려 한다.