모든 과학적 연구가 미래에 결코 뒤집을 수 없을 만큼 확고한 사실들에 기반하고 있기를 바라는 것은 순진한 생각이다. 세상은 그러기에는 너무 어지러운 곳이기 때문이다. 우리가 할 수 있는 일이라고는 단지 과학적 연구들을 어느 정도는 신뢰할 수 있기를 바라는 것뿐이다. 과학자들이 연구 과정에서 일어난 일을 정직하게 보고하고 있길 기대할 뿐이다. 만약 과학계가 자랑하고 있는 동료 평가 시스템이 이러한 신뢰를 보장하지 못한다면, 과학은 가장 기본적이고 중요한 것을 잃어버리는 것이다. 그럴 경우 과학이 가장 잘하는 능력인 꾸준한 새로운 발견, 신기술, 치료법, 신약의 진보로 우리 세계를 개혁시키는 것도 불가능하게 된다
--- p. 18

그 후 반복 재현성은 오랜 기간 과학이 제대로 작동하는지 확인하는 데 중요한 역할을 해왔다. 이것은 또한 과학의 사회적 측면이기도 하다. 과학적 결과는 여러 관찰자들에 의해 확인된 후에라야 진지하게 받아들여지기 때문이다. 하지만 보일에서 현대 과학계로 넘어오는 과정 어딘가에서 많은 과학자들이 반복 재현성의 중요성에 대해 망각하게 된 것 같다. 인간 본성의 한계로 오염된 과학 출판 시스템이 직면한 현실과 머튼적 이상주의가 충돌하면서 이상이라는 것이 현실보다는 너무나도 허약하다는 것이 증명됐다. 그 결과 어떤 깨달음을 주기보다는 신뢰할 수 없고 믿기 어려우며 우리를 혼란스럽게 만드는 재현 불가능한 연구들로 과학 문헌이 가득 차게 됐다.
--- p. 40~41

예를 들면 세금 정책과 그것이 국가의 경제 성장에 어떤 영향을 미치는가를 연구하는 학문인 거시경제학 분야에서 발표된 67편의 논문 중 동일한 데이터 세트를 재분석했을 때 원본 논문과 결과가 일치한 경우는 22편에 불과했다. 심지어 원저자로부터 도움을 받더라도 그 성공률은 아주 미소하게 향상되는 정도에 그쳤다. 지구과학 분야에서는 조사한 39편의 논문 중 동일한 결과를 얻는 데 어려움을 보인 것이 무려 37편이었다. 머신러닝 연구자들은 ‘추천 알고리듬’에 관한 과거 논문들을 분석했다. 아마존이나 넷플릭스 같은 웹사이트에서 여러분과 비슷한 사람들이 과거에 선택한 것을 바탕으로 유추해 미래의 고객들이 무엇을 사고 무엇을 보고 싶을지 먼저 제안하는 용도로 사용하는 컴퓨터 프로그램을 대상으로 진행됐다. 최근 권위 있는 컴퓨터 과학 콘퍼런스에서 발표됐던 18개의 연구를 조사한 결과 7개만이 재현 가능했다.
--- p. 56

2015년 5월에 종결된 2만 단어에 달하는 보고서의 결론은 더 이상 의심의 여지가 없었다. 마키아리니는 여러 가지 혐의에서 ‘과학적 위법 행위에 대해 유죄’였던 것이다. 7편의 논문을 통해 마키아리니는 환자 상태가 호전됐다고 거짓 주장을 했다. 수술 후에는 환자가 오랫동안 건강하게 생활한 것처럼 보이게 묘사하기도 했다. 마키아리니의 환자들은 심각한 합병증에 시달렸고 때로는 더 많은 수술을 받아야 했으나 그는 이러한 사실을 보고하지 않았다. 본질적으로 인간을 대상으로 진행됐던 의학 실험의 하나였지만 이에 합당한 윤리적 기준도 지키지 않았다. 심지어 그는 쥐를 대상으로 한 기관지 이식 실험의 연구 데이터를 위조하기도 했다.
--- p. 73

아주 오래된 철학적 질문이 있다. ‘왜 무(無)가 아니고 무언가가 있는 걸까?’ 우리는 과학적인 과정에 대해서도 비슷한 질문을 던질 수 있다. ‘왜 연구를 시작하면 아무것도 발견하지 못하는 일은 없고 항상 무언가를 찾는 일만 있을까?’ 독자들이 신문의 과학 페이지를 읽으면서 과학자들의 주장은 항상 검증되고 그들의 가설은 확실한 연구 결과로 뒷받침된다고 생각하는 것은 지극히 당연한 일이다. 흥미로운 것을 찾지 못한 연구가 신문에 나는 것은 닭에게 이빨이 나는 것만큼이나 드문 일이기 때문이다. 충분히 이해가 가는 일이다. 신문은 항상 ‘새로운’ 것을 싣고 있을 것이라는 기대를 사람들로부터 받기 때문이다. 신문은 ‘이미 일어난 모든 일에 대한 철저한 기록’이 아니다.
--- p. 118

2013년 이 논문에 대한 문제를 제기했던 학자들은 라인하트와 로고프가 분석에 사용했던 마이크로소프트 엑셀 스프레드시트에 심각한 오류가 있음을 발견했다. 그들이 방정식 계산을 하는 과정에서 여러 국가의 부채가 제외된 사실이 발견된 것이다. 구체적으로 오스트레일리아, 오스트리아, 벨기에, 캐나다, 덴마크의 부채를 계산에서 제외시키도록 스프레드시트에 오류가 있었다. 더구나 이것은 끔찍하도록 진부한 이유 때문에 벌어진 해프닝이었다. 그 이유는 다름 아닌 오타였다.
--- p. 174

우리는 NASA가 그러한 불충분한 연구 결과를 과장하는 것이 좋은 생각이라고 진심으로 생각했을 가능성도 무시해서는 안 된다. 가장 유력한 이유로는 NASA가 겪고 있던 재정적 압박을 들 수 있겠다. 모든 과학 기구들은 후원자들에게 그들이 가치 있는 일을 하고 있다는 확신을 주기 위해 열심히 노력하고 있다. NASA의 경우에는 그 대상이 미국 정부가 된다. 비소-생명체 연구에 대한 분석 논문에서도 지적됐듯이 NASA로서는 ‘지속적으로 자신들이 의미 있는 연구를 하고 있다는 이미지를 보여줄 필요가 있었던 것이다’. 이런 종류의 조급함이 극단으로 치달을 때 이렇게 과장된 기자회견으로 이어질 수 있다는 것을 알 수 있다.
--- p. 207

1970년부터 등장해 두 개 정도의 기본적인 록rock 곡을 가지고 약간씩만 변형시킨 변주곡들을 끊임없이 만들어내며 성공을 거둔 ‘스테이터스 쿠오(Status Quo)’ 라는 밴드가 있다. 가오 교수는 이 밴드에 버금가는 학자라고 할 수 있겠다. 찰스 다윈과는 정말 거리가 먼 학자인 것이다. 가오가 사용한 수법을 ‘살라미 슬라이싱(salamislicing)’이라고도 부른다. 동일한 실험에서 나온 결과를 함께 묶어서 하나의 연구 결과로 발표하는 대신, 개개의 더 작은 하위 논문으로 나눈 다음 각각을 독립된 별개 논문으로 발표하는 수법을 일컫는 말이다. 재난 현장을 정리하기 위해 투입됐던 트럭 운전사들이 젖은 진흙을 실어 트럭을 더 무겁게 만들었던 것과 본질적으로는 매우 유사하다. 이력서를 인위적으로 부풀려 훨씬 더 많은 연구를 한 것처럼 보이게 함으로써 적어도 어떤 분야에서의 이익을 극대화하는 것이기 때문이다. 예를 들면 내가 이 책의 서문과 에필로그뿐만 아니라 개별 챕터도 모두 따로 분리해 여러 권의 책을 출판하는 것과 근본적으로는 다를 바 없다. 그런 후에 내가 10권의 책을 썼다고 이야기하고 각각의 책에 대해 별도로 돈을 받는다고 상상해보라.
--- p. 252

물론 새로운 연구 결과를 둘러싼 과장을 자제하고 우리가 알고 있는 것에 겸손한 태도를 취하는 것은 가뜩이나 지루한 과학을 더 지루하게 만들 수 있다. 하지만 거의 모든 상황에서 따분하지만 신뢰할 수 있는 결과는 흥미진진하지만 공허한 결과를 이기게 된다. 더 많은 무효 결과와 재현 연구를 출판하도록 장려하는 것이 우리의 지식 창고를 채우는 데 있어 훨씬 더 신뢰할 수 있는 방법인 것처럼, 과학을 제대로 평가하기 위해서는 장기적으로 불확실하고 예비적인 연구 활동의 본질에 대해 잘 이해해야 한다. 반짝이는 물건을 모으는 까치처럼 새로운 것을 선호하고 눈에 띄는 연구 결과에만 관심을 두려는 우리의 본능을 다스리고, 당장은 덜 흥분되더라도 좀 더 견고한 결과를 중요시하는 법을 배워야 한다. 다른 말로 표현하자면, 과학을 다시 지루하게 만들어야 하는 것이다

“우리는 과학이라는 도구를 옳게 쓰고 있는가”<br/>연구와 논문, 저널을 둘러싼 나쁜 과학의 현주소를 고발하다<br/>2018년, 프랜시스 아널드 캘리포니아공대 교수는 생명체의 화학 반응에서 촉매 역할이 되는 효소 단백질의 인공 개량법을 개발한 공로로 노벨화학상을 받았다. 2년 뒤 그는 세계적인 과학 전문 학술지 〈사이언스〉에 실린 자신의 효소 관련 논문을 철회한다고 발표했다. 〈사이언스〉는 아널드 교수의 연구 결과가 재현되지 않을 뿐만 아니라 논문의 제1저자가 연구 노트의 일부를 누락했다는 것을 이유로 들었다. 다행스럽게도 그는 자신의 논문 철회를 인정하며 공개적으로 사과하는 메시지를 전달했다.<br/>2012년 〈플로스 원(PLOS ONE)〉에 발표된 자료에 따르면, 1928년부터 2011년 사이에 철회된 논문이 4,449개에 이른다고 한다. 간단히 살펴보면 그중 의심스러운 데이터/해석이 42퍼센트, 데이터 조작 같은 연구 부정 행위에 따른 철회 비율이 20퍼센트에 달한다. 문제는 시간이 갈수록 각종 저널에 발표된 논문 중 철회되는 논문의 수가 증가하고 있다는 점이다.<br/>이러한 추세를 반영하듯 논문 철회와 관련된 정보를 공개하고 각 과학자들의 논문 철회 횟수를 기준으로 순위를 발표하는 ‘리트랙션 워치(retraction watch)’라는 웹사이트도 등장해 과학계에 대한 자성의 목소리를 높이고 있다. 해당 사이트에서는 일종의 역 노벨상 후보를 발표하듯 논문 철회 횟수를 기준으로 순위를 발표한다. 놀랍게도 모든 철회 논문 중 25퍼센트가 단지 2퍼센트의 과학자들이 발표한 논문이라고 한다.<br/>물론 ‘모든 숫자에는 노이즈가 포함돼 있다’는 자연의 법칙처럼 어떤 연구자든 논문이든 오류를 피할 수는 없다. 프라이밍 현상에 대한 실험(대니얼 카너먼), 파워 포즈 이론(에이미 커디), 스탠퍼드 감옥 실험(필립 짐바르도), 권위에 대한 복종 실험(스탠리 밀그램), 인공 기관지 이식에 관한 연구와 수술(파올로 마키아리니), 인간 배아 복제 실험(황우석), 만능줄기세포(오보카타 하루코) 등이 대표적이다.<br/>대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 《사이언스 픽션》에서 만날 수 있다.<br/><br/>과학자에게 너무 당연해서 잊힌 명제<br/>“재현되지 않으면 과학이 아니다!”<br/>과학자는 세상 모든 현상에 대한 체계적 지식을 위해 연구한다. 그들은 자신의 연구에 대한 신뢰도와 검정력을 확보해주는 다양한 실험과 데이터를 토대로 결과를 도출해 논문을 쓴다. 해당 연구를 논문에 발표하려면 동료 평가 과정을 거쳐야 한다. 이때 동료 평가자들은 논문에 조작·편향·부주의한 실수·과장은 없는지, 연구에 등장하는 실험이 재현 가능한지(replicability) 등을 검증한다.<br/>“우리 자신이 관찰한 것조차도 반복 관찰되거나 엄격한 테스트를 통과하기 전까지는 새로운 발견이라거나 과학적 관찰이라고 받아들여서는 안 된다.”<br/>이렇게 과학철학자 칼 포퍼가 말했듯, 반복 재현되지 않는 실험 연구는 진정한 과학이라 할 수 없기 때문이다.<br/>논문이 동료 평가를 통과하면 과학 전문 학술지 〈사이언스〉와 〈네이처〉를 비롯해 전 세계 수많은 학회에서 발행하는 저널의 편집자들이 저널에 논문을 실어 발표한다. 이후 논문은 또 다른 과학자들이 인용하는 횟수를 통해 다시 한번 과학적 지식으로서의 가치를 인정받는다. 대표적으로 구글 학술검색에서 과학자들의 논문을 검색해보면 h-지수(n번 인용된 적이 있는 논문을 n편 보유)로 해당 과학자의 연구 성과를 간접적으로 확인할 수 있다. 여기까지가 논문 한 편이 발표돼 과학적 지식으로 거듭나는 과정이다.<br/><br/>“수단이 목표가 되면 길을 잃고 만다”<br/>살라미 슬라이싱, 미끼 저널, 자기 인용, 자기 표절이 만든 논문 대량 생산 시대<br/>스튜어트 리치는 이러한 논문 발표 시스템이 곧 ‘과학이 사회적 구조물’이라는 특성을 드러낸다고 말한다. 과학자, 동료 평가자, 편집자, 그리고 조금 더 확장해 논문을 인용하려는 또 다른 과학자까지, 논문 한 편에 연결된 사람들에 의해 해당 논문은 신뢰할 만한 과학적 지식이라는 타이틀을 얻는다. 동시에 리치는 사회적 구조물이라는 특성이 단점으로 작용할 수도 있다고 지적한다.<br/>논문 발표 횟수로 인센티브를 제공하는 학계의 관행과 과학자로서의 명성을 얻기 위해 나쁜 연구자들이 주도하는 살라미 슬라이싱(salami slicing), 즉 논문 대량 생산 현상이 대표적이다. 실제로 인간의 23쌍 염색체에 대한 분석 결과를 23개의 각각의 단일 논문으로 쪼개거나 항우울제의 효과를 연구한 후 인구 집단별로 실험군과 대조군만 살짝 바꿔 논문을 쪼개 발표한 사례들이 등장한다. 한 예로, 2018년에 심리학자 로버트 스턴버그가 자신이 편집장으로 있던 〈심리과학의 전망〉 저널에서 물러나기도 했다. 자신의 논문을 인용해 저널의 사설을 씀으로써 자신의 h-지수를 올렸다는 것이 이유다. 이에 스튜어트 리치는 “지표 자체가 목표가 되면 더 이상 좋은 지표로서의 기능을 상실한다”고 한 굿하트의 법칙이 과학계에서도 증명되고 있는 셈이라고 말한다.<br/><br/>“연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭나기까지”<br/>조작, 편향성, 부주의, 과장으로 훼손되기 쉬운 과학의 가치를 지키는 법<br/>리치는 《사이언스 픽션》에서 과학자들을 위한 도덕적 기준을 제시함과 동시에 기술적 기준도 함께 제시한다. 또한 그러한 기준을 충족시키지 못한 과학 논문과 과학자들의 사례를 책 전반에 걸쳐 소개한다. 과학자들이 갖춰야 할 기준으로서 1942년에 사회학자 로버트 머튼이 주창한 네 가지 머튼 규범(Mertonian Norms), 즉 보편주의(universalism), 사심 없음(disinterestedness), 공동체성(communality), 조직적 회의주의(organized scepticism)를 제시한다. 이를 풀어서 말하면 과학적 지식은 인종, 성별, 나이, 성적 취향, 소득, 사회적 배경, 국적 등에 따라 차별적으로 판단되거나 돈, 정치, 이념, 개인적 이해, 명성을 위해 좌우되어서는 안 되며, 과학자들은 모든 지식을 서로 공유하되 각자의 주장을 액면 그대로 받아들여서는 안 된다는 것이다.<br/>한편 과학 연구에서 발생하는 오류, 즉 의도적 조작, 연구자의 편향, 단순한 부주의, 연구를 과장하는 심리에 의해 철회된 논문들의 사례들도 소개한다. 리치는 “왜 무(無)가 아니고 무언가가 있는 걸까?”라는 철학적 질문을 인용하며 ‘연구를 시작하면 항상 무언가를 발견해내는 현상’이 팽배한 과학계의 현실에 대해서도 문제를 제기한다. 대표적으로 가장 흔하게 사용하는 통계값 중 하나인 p-값과 ‘통계적 유의미성’이라는 표현을 예를 들며 과학 연구 과정과 결과가 연구자 개인에 의해 얼마나 좌우될 수 있는지를 설명한다.<br/><br/>성과를 포장해서 발표한 이 시대의 베스트셀러 목록<br/>“과연 과학적으로 신뢰할 수 있는가?”<br/>저자는 이 책에서 에이미 커디(《자존감은 어떻게 시작되는가》의 저자), 캐럴 드웩(《마인드셋》의 저자), 매슈 워커(《우리는 왜 잠을 자야 할까》의 저자), 존 바그(《우리가 모르는 사이에》의 저자) 등과 같은 대중 과학 베스트셀러 저자들이 실제 연구 성과를 과장해 발표하고 있는 현실을 꼬집는다. 정확성도 떨어지고 좋은 내용은 없다는 것이 그의 주장이다.<br/>리치가 제시하는 대안 중 대표적인 몇 가지는, 연구 방법의 타당성이 보장되는 재현 연구를 전문으로 실어주는 〈플로스 원〉과 같은 ‘메가 저널’, 과학 연구 전 과정에 가능한 한 모두가 참여할 수 있는 ‘오픈 사이언스’ 연구, 연구의 가설을 미리 제출해 실험의 목적과 결과를 모두 알 수 있도록 하는 ‘연구 사전 등록 제도’ 등이다. 이러한 모든 과정의 목적은 결국 진리를 추구하는 과학이라는 도구의 가치를 되새기는 것이기도 하다.<br/>그의 주장을 요약하면 과학 논문의 반복 재현 위기를 자초한 것은 과학자 자신들인 셈이다. 과학의 가치를 지켜야 할 사람은 다름 아닌 과학자 자신이다. 모든 연구에 오류가 있고, 모든 데이터에 노이즈가 있다고 하더라도 학자로서의 양심, 동료 평가라는 객관적 시스템을 거쳐 나쁜 과학, 나쁜 연구를 걸러낼 때 과학의 가치를 지켜낼 수 있다.<br/><br/>우리가 그동안 ‘사실’이라고 맹신했던 과학적 연구 결과에 대한 검증을 요구하는 이 책은 잘못된 연구와 논문에 대항할 수 있는 최소한의 무기가 되어줄 것이다.