Science fiction, Stuart Ritchie

어떤 분야든 "과학"에 관심이 있는 사람이라면 꼭 한번 읽어보기를 권하고 싶은 책이다.

 

저자는 책에서 "과학"이 어떤 점으로 인해 과학적이지 "않게" 변해왔는지를 날카롭게 지적한다.

 

굉장히 감명 깊게 읽었고, 번역도 자연스럽게 잘 되어 있어서 술술 금방 읽혔다. 

 

회색 부분이 무려 Reference이다!

또한 저자의 꼼꼼함을 대변하듯 책 두께 1/3 가량이 reference이고, 

굉장히 꼼꼼하게 본인 주장의 근거가 되는 출판이나 서적, 기사들을 근거로 제공하고 있다. 

 

나는 무엇을 믿는가?

의사로서의 나를 되돌아 보자. 

진료 시 최신 지침이 필요할 때 나는 정보를 어떻게 찾고 걸러낼까? 그나마 관심이 있는 분야라면 다음과 같다. 

• 저명한 연구자의 연구인가?
• 유명한 저널에 실린 연구인가? -> Impace factor가 높은 저널에 실렸나?
• 비슷한 연구 결과들이 일관되게 보고되고 있나?

 

하지만, 책에서 소개하는 굵직 굵직한 사건들은 위의 기준조차도 큰 실수가 될 수 있음을 말해준다.

유수의 저널(Lancet이나 NEJM 등), 유수의 기관(NASA 등) 에서 출판, 지원한 연구들 또한 역사적으로 "과학 사기"를 친 이력이 있다. 

 

데이터 조작, 통계의 문제(의도적이든 의도하지 않았든), interests(이해관계), bias 등이 출판되는 연구 결과들에 엄청나게 영향을 많이 주고 있다. 

 

책에서 소개한 사례들을 모두 정리할 필요는 없다. 

다만, Y. A. de Vries 등이 2018년에 발표한 메타분석 논문이 이 책에서 다루는 문제들을 잘 요약하여 보여준다.

de Vries YA, Roest AM, de Jonge P, Cuijpers P, Munafò MR, Bastiaansen JA. The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: the case of depression. Psychol Med. 2018 Nov;48(15):2453-2455. doi: 10.1017/S0033291718001873. Epub 2018 Aug 2. PMID: 30070192; PMCID: PMC6190062.

(a)가 실제의 세상, 그리고 (e)가 우리가 보는 매우 편향된 결과들이다.

심지어 조작과도 같은 노골적인 사기극은 제외한 경우이다.

 

 

어떻게 해야 하는가?

그렇다면 추후 연구를 함에 있어서 나는 어떻게 해야 하는가?

어떻게 해야 연구의 투명성, 정직성을 담보하고 나를 여러 인센티브나, 편향으로부터 보호할 수 있을까?

책에서 권고하는 방법과 나의 생각을 간단히 정리하고 글을 마친다.

 

• Open science, open data, open access, 사전 인쇄를 이용한다.
• 통계적 유의성에 대해 편견 없이 판단한다.
• 연구의 프로토콜을 사전등록(공개)한다. 또한 편향과 검정력 문제를 최소화할 수 있도록 연구를 계획한다.
• 비 의도적인 통계 오류를 범하지 않도록 통계를 열심히 공부한다. 
• GRIM test, statcheck 등을 이용하여 데이터의 오류가 없는지 확인한다.

 

 

참고 - Retraction watch

여러 문제들 - 데이터 조작, 비윤리적 행위 포함 - 로 출판이 취소(회수)된 논문들에 대한 DB이다. 

https://retractionwatch.com/

Retraction Watch