[AI Learn & Unlearn] 토큰 태우기 그 너머

주말동안 래블업 신정규님의 페이스북 포스팅을 보며 생각이 많아졌습니다.

여름쯤까지 멀티에이전트 및 플래닝 토큰을 엄청나게 태우다가, 생각보다 모델 코딩 능력 한계가 명확하게 나오는 이슈들까지 가게 되었다.

(중략) 그 후에 방향을 바꿨다. 이러다 나만 죽겠다 싶어서. 같이 죽자.

작년 가을 후의 에이전트 엔지니어링은 나 대신 삽질을 할 사람들이 쉽게 하는 쪽에 집중을 했다.

코드 저장소에 누구든 새 기능이나 버그 이슈를 대충 적거나 스크린샷 또는 손그림이랑 함께 올리면, 해당 이슈를 분석해서 일단 합당한지, 프로젝트의 방향성과 맞는지 판단하고 중요도를 판단하거나 제낀다. 중요도가 낮거나 잘못된 버그 레포트나 기능 요청인 경우에는 상세한 이유 설명을 코멘트로 달고 닫아버리고, 그렇지 않으면 더 나은 방법이 있는지 찾아보고, 구현한다면 어떤 부분들이 어떻게 필요한지 분석한다. 오래 걸리거나 복잡한 이슈면 쪼개서 서브이슈로 만들고, 동시에 진행해도 머지 큐에서 충돌나지 않는 이슈들 및 상호 연계가 필요한 이슈들을 묶어 스케쥴링하고, 난도에 따라 다른 모델로 해당 이슈의 개발이 돌아간다.

이후엔 이슈 자체를 레포팅하거나 제안하는 것도 사람과 에이전트 둘 다 할 수 있도록 해 두었다. UI 관련은 모든 메뉴와 스크롤, 기능 테스트를 스크린샷으로 자동으로 찍고, 모델이 그걸 한 번에 모두 리뷰하고, 해당 화면을 만들어낸 코드들을 매칭시켜서 분석후 개선 또는 리팩토링하는 식으로 만들어 두었다.

그 다음엔 위의 파이프라인에서, 실제 발생 빈도에 따라 claude commands를 새로 만들거나 skills를 추가하거나, 하네스 프롬프트를 업데이트 하게 해 두는 식의 적용을 했다.

</일부 발췌>

저는 작년 8월경 라인플러스 테크 토크에서도 신정규님을 인용했었고, 당시 토큰을 훨씬 더 많이 태워야겠다는 인식은 생겼지만 다양한 핑계로 충분히 실행하지 못했습니다. 그리고 요 몇주간 열심히, 이제서야 나와 주변 사람들을 위한 하네스를 만들어내고 있어요.

많이 늦었지만 이제라도 실행하고 있으니 다행입니다. 올해 초에 이 감을 익혀놔야만 그 다음 단계로 나아갈 수 있겠다는 느낌이 강하게 들어서, 상대적으로 토큰 밀도가 낮은 일들은 계속 줄여나가고 있습니다. 어서 정규님처럼 토큰의 한계에 자주 부딛히는 수준까지 가야 할텐데 한참 멀었네요.