Human in the loop 그 너머

저는 AI와 더 효과적으로 협업하려면 AI에게 내 작업의 어디를 어떻게 위임할 것인지 잘 설계하고 조정해야 한다는 이야기를 여러 군데서 해왔습니다.

더 구체적으로는, 위임에 여러 단계가 있음을 인지하고, 특정 작업에 대한 AI의 역량과 내 역량 레벨에 따라 업무 위임 정도와 개입(human-in-the-loop) 빈도를 조절해야 한다는 이야기였죠. 훌륭한 조직관리 책(매니지먼트 3.0, 하이 아웃풋 매니지먼트)에서 배운 교훈을 AI 도메인에 적용한 것입니다.

이걸 조금 더 AI 관점에서 잘 설명한 이미지가 있어서 공유합니다.

먼저 두 가지 질문을 합니다.

• What are you optimising for: AI에게 작업을 위임하는 목적이 무엇인가?
• What's at stake: 작업이 잘못되면 어떤 리스크가 있는가?

그리고 그에 대한 답을 4개씩 쪼개서 총 16개 패턴에 어떤 수준으로 인간이 개입할 수 있는지 설명합니다.

다만 이러한 분류가 다소 '정적'으로 느껴진다는 점은 살짝 아쉽습니다. 작업을 특정 패턴으로 분류하고 나면 잘 변하지 않을듯한 느낌?

저는 작업에 대한 AI와 내 역량에 따라 위임 목적과 리스크 판단이 달라질 수 있음을 더 강조하고 싶습니다. 간단한 예로, 단순한 리뷰 분류 작업이라도 GPT-3.5가 처리한다면 많은 항목을 검토해야 하지만 GPT-5라면 배치 프로세싱이 가능할 수 있습니다. 똑같은 GPT-3.5라도 내가 지시사항을 예시와 함께 명확하게 내릴 수 있다면 리스크가 더 적어지고요. 나아가 개입 및 검토하는 행위를 대행하는 프로그램을 짤 수도 있겠죠.

따라서 요즘 AI가 어디까지 할 수 있는지 '감'을 유지하는 게 중요하고, 또 스스로의 역량을 계속 높여나가는 게 중요하다고 봅니다.

참고로 이미지 출처는 여기입니다. 글 내용도 좋습니다.