[4주 글쓰기 챌린지 #8] 논문 독자의 맹검 활용법

(자꾸 맹검 맹검 하니까 무협소설 같네요. ㅎㅎ)

저는 맹검법에 대한 지식을 크게 두 가지 상황에서 활용할 수 있겠다고 생각했어요. 하나는 연구논문을 읽고 해석할 때, 다른 하나는 일상생활에서. 오늘은 전자에 대해 얘기해볼게요.

요즘 저는 논문을 ‘이 연구 결과를 내 상황에 적용해서 도움을 얻을 수 있나?’를 되뇌이며 읽는 편입니다. 연구를 믿고 활용하려면 ‘반복해서 재현이 가능한가?’가 중요하고, 이를 판단하려면 결국 ‘연구를 어떻게 했는가’를 꼼꼼히 읽어야 하죠.

예전에는 논문의 연구 방법 파트를 읽을 때 참가자를 어떻게 모집했나, 측정 지표는 어떻게 정의내렸고 기준이 무엇인가, 설문조사라면 문항의 단어나 순서가 편향을 주도록 설계되진 않았나 등을 확인했어요. 이제는 맹검법을 사용했나, 했다면 어느 수준까지 사용했나를 볼 수 있게 됐네요.

그런데 단순히 맹검법을 사용했는지 여부만으로 논문을 평가내리는 건 부당할 수 있습니다. 맹검법이 그저 좋기만 했다면 모든 논문이 맹검법을 썼을테니까요. 당연히 단점이 있을테니 이걸 파악하기 위해 ChatGPT에게 질문을 던졌습니다.

Q. 연구자로서 맹검법을 사용할 때의 단점이나 주의할 점은?

여러가지 답을 해줬는데 결국 핵심은 연구의 비용과 복잡성이 늘어난다는 것이었습니다. 요약하면:

• 참가자 입장: 참가자에게 정보를 숨겨야 하므로 윤리적 문제가 생길 수 있습니다. 또한 위약이 투약될 수도 있다는 걸 인지하면 참가자의 동기가 줄어들거나 애초에 이탈해버릴지도 모릅니다. 이를 벌충하려면 연구진이 더 많은 비용과 노력을 들여야겠죠.
• 연구자 입장: 연구진이 실험 처리에 대한 정보로부터 완전히 배제되는 것을 보장하기는 쉽지 않습니다. 특히 약물에서 부작용이 예상되는 경우라면 오히려 숨기면 안될 수도 있고요. 정보를 잘 숨기는 데 성공했다면, 거꾸로 실험 과정에서 생기는 예외 사항이나 특이 사례에 대응하기가 어려워집니다.

이렇게 보니 이중맹검이나 삼중맹검을 사용한 연구는 그 자체만으로도 경의를 표할 수 있겠다는 생각이 들었습니다. 그 다음 좀 더 이해를 높이기 위해 실제 사례를 보고 싶었습니다. 다시 ChatGPT에게 물었죠.

Q. 맹검법을 사용했어야 했는데 그러지 않아서 비판받은 연구는 뭐가 있을까?

하지만 ChatGPT가 좀 발뺌하며, 실제 논문은 안 주고 가상 시나리오를 주더군요. 그래도 예시를 보니 이해하기는 더 좋았습니다.

• 연구 분야: 심리학
• 가상의 시나리오: 스마트폰 앱이 우울증 증상에 미치는 영향 평가 연구
• 설명: 이 연구에서는 스마트폰 앱이 우울증 증상 감소에 기여하는지 평가했습니다. 하지만 연구진이 단일맹검 접근법만을 사용했고, 연구 참가자만이 어떤 치료(실제 앱 사용 또는 가상의 앱 사용)를 받고 있는지 모르는 상태였습니다. 연구자들이 어떤 참가자가 어떤 그룹에 속해 있는지 알고 있었기 때문에, 그들의 기대와 편향이 연구 결과에 영향을 미칠 수 있는 여지가 있었습니다. 이 연구는 연구 설계의 이러한 약점 때문에 비판을 받았으며, 결과의 신뢰성에 대한 의문이 제기되었습니다.

내일은 논문읽기라는 좁은 범위를 벗어나 일상생활에서 맹검법에 대한 지식을 더 잘 활용하기 위한 방법을 나눠보겠습니다.