"확신은 반복을 통해서 만들어진다. 이 명제를 회피하려는 그 어떠한 시도도 성공할 수 없으며, 오히려 파괴적이다."
- 존 터키(John Tukey), 1969
과학은 재현이 되어야 과학으로 인정 받습니다. 어떤 결과가 우연히 얻어진 결과인지 연구에 의해서 얻어진 결과인지 구분하려면 반복해서 재현을 해보는 것입니다. 반복해서 재현이 가능하면 그 재현이 가능한 조건과 환경 등을 적어서 논문으로 발표합니다. 이 발표된 논문을 다른 과학자 등이 재현해서 성공하면 그 논문은 인정을 받습니다.
그런데 재현이 안된다면 어떻게 될까요? 그 과학 논문이나 주장은 그 사람의 주장으로 끝나고 맙니다. 즉 객관성을 얻지 못합니다. 이 재현이 잘 안되는 학문이 있습니다. 바로 사회과학입니다. 특히 인간의 마음 속을 탐구하는 듯한 심리학은 재현할 수 없기 때문에 자연과학으로부터 많은 공격을 받습니다. 그래서 과학이 아니라는 비판도 강하죠.
그러다 2011년 사회과학자들이 자연과학자들의 실험과 논문도 재현성이 떨어진다면서 역공을 합니다. 자연과학이나 사회과학이나 재현성이 낮은 것은 마찬가지라고 비난을 합니다. 그럼 과학은 얼마나 재현성이 높을까요?
2015년 심리학 연구자 그룹의 최신 심리학 연구 논문 100개를 재현해 봤는데 재현할 수 있는 실험은 39개였습니다.
생각보다는 높네요. 최근 이 과학의 재현성 논란이 심해지고 있습니다. 과학이란 재현으로 검증을 해야 하는데 재현을 하려고 하질 않습니다. 한국 분들은 아주 쓰라린 경험이 있죠.
황우성 박사의 줄기세포 논문이 네이처가 실어주자 나라 전체가 미래 먹거리를 찾았다고 어깨춤을 쳤습니다. 그러다 그 논문이 조작되었다는 의혹이 있자 대부분의 사람들이 네이처를 뭘로보는 것이냐며 네이처에 논문이 실리는 자체가 연구 검증이 끝난 것이라고 주장했죠. 그러나 네이처는 검증을 한 것이 아니라고 말하면서 뒤로 빠졌고 결국은 논문이 조작 된 것으로 밝혀집니다. 이렇게 논문 검증을 제대로 못하는 이유는 최신 기술이나 논문은 쉽게 재현하기도 어렵고 재현해도 별 소득이 없어서 재현을 하려고 하지도 않습니다. 특히, 논문 발표자가 제대로 협조를 안 하면 논문만 있고 검증은 뒷전으로 밀려납니다.
줄기세포 스캔들을 통해서 과학이라는 것이 꽤 허술하구나를 많이 알게 되었습니다.
그리고 최근 이 과학의 재현성 문제가 크게 대두되고 있습니다.
과학의 재현성 위기에 대해서 1,500명 과학자에게 묻다
네이처는 과학의 재현성에 대한 1,500명 과학자에게 설문지를 돌렸습니다. 그리고 그 결과를 공개했습니다.
http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970dp
과학의 재현성 위기라고 생각하는가?
과학의 재현성 위기라고 생각하냐는 질문에 52%는 아주 심각하다고 생각하고 38%는 약간의 위기가 있다고 말했습니다. 7%가 과학의 재현성 위기가 아니라고 말했습니다.
자신들의 연구 분야 논문들을 얼마나 신뢰하냐?
이번 조사에 응답한 연구자 중 73%는 자신들의 연구 분야의 과학 잡지에 게재 된 논문 중 50%는 신뢰한다고 생각했습니다. 가장 신뢰가 높은 분야는 화학과 물리학 및 엔지리어링 분야였습니다.
실험을 통해서 재현을 실패한 경험이 있는가?
재현이 중요한 이유는 서두에 설명했습니다. 우연이 아닌 하나의 법칙을 발견하려면 끊임없이 재현해서 재현율이 상당히 높아야 합니다. 어쩔 때는 됐다가 어쩔 때는 안된다면 왜 되는지 왜 안 되는지도 제대로 밝혀내야죠. 그러나 과학자들의 논문 중에 상당수가 재현이 안 되는 경우가 있습니다.
그럼 얼마나 재현 실험에 실패했는지 물었습니다. 분홍색은 자기 자신의 연구 실험 재현 실패율이고 붉은 색은 다른 과학자의 논문을 보고 따라한 재현 실험입니다. 당연히 다른 과학자의 논문을 보고 한 실험 실패율이 높습니다. 이는 다른 과학자가 제대로 된 조건을 제시하지 않았거나 논문을 쓴 과학자가 도와줘야 하거나 아니면 재현이 아예 안 되는 논문일 확률이 높죠.
재현 실패율은 화학과 생물학, 물리학과 엔지니어링 순으로 실패율이 높았습니다. 화학 같은 경우 재현 실패율이 80%가 넘네요. 반면 지구과학이나 환경과학은 40%만 재현에 실패했습니다.
재현성 문제에 대해서 많은 의견이 있습니다. 먼저 현대 과학의 재현성이 어떠해야하는 지에 대한 정의가 명확하지 않습니다. 따라서 재현이 어떻게 이루어져야 하는 지에 대한 합의가 이루어져야 한다고 말하는 과학자도 있습니다.
또한, 실험을 재현하지 않으려는 풍토도 있습니다. 실험을 재현해봐야 과학자에게는 아무런 이득이 없습니다. 재현을 시도한 논문은 독창적인 논문을 좋아하는 학술지나 과학 잡지에서 받아주지 않습니다. 또한, 재현을 실패하면 그걸 논문으로 만들 생각도 안 하고 성공할 경우만 논문이나 학술지나 과학 잡지에 발표를 합니다.
재현을 위해서 절차를 확립하는 지에 대해서 34%는 아니오라고 답했고 33%만 5년 이내에 절차를 밟았다고 말했습니다.
재현을 하는데 가장 큰 걸림돌은 무엇인가?
재현을 하는데 가장 큰 걸림돌은 무엇인가에 대해서는 선택적인 리포팅, 출판에 대한 압력, 통계 분석의 문제점을 들고 있습니다. 또한, 연구소의 검증 부족이나 감독 부족, 검출력이 낮은 것도 문제로 지적되고 있습니다.
흥미로운 것은 재현에 있어서 기술적인 어려움 때문에 재현에 어렵다고 한 과학자는 많지 않네요. 이거 비과학적이네요. 과학의 재현도 정치가 끼어들어 있네요. 이러면 과학이 아닌데요. 하기야 연구하는 과학자들이 정치인이나 기업 간부들의 입김에 따라 흔들리기도 하고 이번 옥시 사건처럼 뇌물 받고 실험 결과 조작해주는 과학자의 도덕적 해이도 문제입니다.
재현 프로세스를 개선하려면 뭐가 필요한가?
재현 프로세스를 개선하려면 무엇인 필요한가?라는 질문에 대해 통계 분석력 상승, 지도 감독 개선하기, 실험 계획을 보다 공고히 등이 상위에 올랐습니다.
과학은 확률이 아니였던 시절이 있었습니다. 그러나 지금은 불확정성의 시대입니다. 100% 확실한 것은 없습니다. 그러나 100%에 가까운 확률로 만들 때 과학은 더 견고해집니다. 그 100%의 확률로 만드는 과정이 재현입니다. 끊임 없이 재현을 하면서 경로를 조금씩 수정해 가다 보면 최적의 경로인 진리를 만나게 됩니다. 그러나 지금 과학은 재현성 문제가 심각하게 되두 되고 있습니다. 새로운 논문이 나오면 검증도 없이 창의성 좋은 아이디어라면서 덜컥 과학 잡지에 실어주고 있습니다. 이미 황우석 사태 때 네이처에 실리는 논문이 100% 확실하다고 한 것이 아니라는 것을 알게 되었습니다.
당시 한국 사회는 집단 광끼가 지배했는데 그 당시 상황을 사화 과학으로 분석해보면 어떨까 할 정도로 흥미로운 사건이었습니다. 과학은 신뢰를 먹고 삽니다. 증명성이 좋은 과학. 이 과학이 재현성의 문제가 최근 큰 이슈가 되고 있네요
