저명성에 대한 집착에 의해 왜곡되는 과학 연구

과학자 역시 인간이기에 자신이 가진 선입견과 편견을 버리기는 힘들다. 혹시 우리는 유명한 과학자 / 저명한 저널 / 유명한 연구기관 / N모상 등이 주는 권위에 취해 과학 그 자체를 제대로 보지 못하는 것은 아닐까?

이런 문제에 대해서 최근 N모잡지에 Simine Vazire 라는 사람이 기고한 글을 번역해봄. 역시 맨날 하는 이야기지만 본 번역은 무허가 번역이므로 언제라도 삭제될 수 있고, 본 번역가는 비전문 번역가이기에 날림번역-오역이 있을 수 있음을 미리 공지해 둠.

Our obsession with eminence warps research

Simine Vazire

Simine Vazire 는 UC Davis 의 심리학과 교수이다.

우리는 우사인 볼트가 2등보다 얼마나 빠른지를 기록으로 정확히 측정할 수 있다. 그러나 과학자의 경우 누가 최고의 과학자인지를 말하는 것은 어려우며, 최고에서 2번째 과학자보다 최고 과학자가 얼마나 더 뛰어난가를 말하는 것은 더더욱 힘들다. 이러한 최고의 과학자라는 인식을 결정하는 것은 적어도 일부분은 심판에 의한 자의적인 결정이다.

긍정적으로 생각한다면 나는 모든 노이즈에도 불구하고, 우수한 과학자를 판별하는 확실한 신호는 존재한다고 생각한다. 이러한 신호를 근거로 우리는 좀 더 나은 연구를 하는 사람의 연구결과를 출판하고, 연구비를 주고, 이런 사람을 고용한다. 저널의 에디터, 피어리뷰어, 그리고 연구비의 리뷰어로써 나는 다른 동료 과학자들의 연구 중에서 좀 더 나은 것을 찾아내는데 매우 긴 시간을 보낸다. 만약 내가 이런 선택을 하는 것이 동전던지기 식의 무작위적인 프로세스라면 기운빠지는 일일 것이다.

그러나 한편 부정적으로 보면  나는 우리 과학자들은 훌륭한 과학자를 식별하는 우리 자신의 능력에 대해서 너무 과신하는 것이 아닐까 염려하기도 한다. 우리는 너무나 자주, 연구비를 많이 가지고 있고, 상을 많이 타고, 논문이 많고, 인용빈도가 높은 과학자가 다른 과학자들에 비해서 더 뛰어난 과학자라고 가정해버리곤 한다. 저명성, 즉 특정한 업적이나 지위, 상 등에 의해서 생기는 권위가 실제보다 너무 많이 비중을 차지하게 된다. 

물론 나는 지금 대개의 저명한 과학자들이 자신의 전공분야에서 매우 뛰어난 사람들이라는 것을 부인하려고 하는 것이 아니다. 그러나 수만명의 다른 과학자들은 세상에 잘 알려져 있지 않다는 것 역시 중요하다. 과학이라는 것은 어려우면서도 중요한 것이므로, 과학을 잘 하는 사람들이 누군지를 아는 것은 매우 중요하다. 그러나 동시에 선택된 몇 명의 유명 과학자들만 부각되는 것은 정당화될 수 없으며, 과학 자체를 손상할 수 있다.

저명성이 정당화되려면 얼마나 뛰어난 과학을 하는지의 수월성에 대한 평가가 정확해야 하는데, 이 과학의 수월성이라는 것 자체가 쉽게 판별하기가  어렵다. (이 링크를 참조 go.nature.com/2qalo2l). 가끔은 어떤 논문 원고를 저널에 실어주어야 하는지, 어떤 연구비 프로포절에 돈을 주어야 하는지, 어떤 교수 임용후보자를 실제로 임용해야 하는지에 대해서 사람들의 의견이 갈릴 때가 있다. 저널의 에디터로 일한 경험을 미루어 보자면, 한번은 다른 모든 리뷰어들이 그닥 새롭지 않다고 생각해서 출판할 가치가 없다고 생각했던 논문이 하나 있었다. 내가 보기에는 과학적으로 말이 된다고 생각해서, 그냥 에디터 직권으로 출판을 허가했다. 그런데 놀랍게도, 이 논문은 저널에 실린 다른 어떤 논문보다도 훨씬 관심을 받았고, 이 연구결과는 수십개의 뉴스기사로 소개되었으며, 6개월 안에 수천번 다운로드되었다.

사실을 말하자면, 형편없는 연구를 건실한 연구와 구분하는 것은 건실한 연구중 최고의 연구 5% 를 그 다음 5% 와 구분하는 것보다 훨씬 쉬운 일이고, 논문이 게재되느냐 아니냐는 ‘최고의 연구 5%’ 와 ‘그 다음 5%’ 사이에서 갈라지는 것이 보통이다. 이러한 어려움을 고려해보면, 논문 개제승인, 채용과 같은 중요한 결정은 단순히 연구의 질만으로 결정되지는 않는다. 그렇다면 이러한 결정에 영향을 주는 것들은 무엇일까?

과학자 역시 인간이며, 당연히 그들은 편향에 취약하다. 이러한 편향 중에서 가장 강력한 것은 지위에 따른 편향이다. 즉 특정한 연구 성과에 대한 평가는 적어도 일부는 그 사람이 이전에 받았던 평가에  영향을 받는다 (따라서 이전에 좋은 논문을 냈던 기록이 있는 사람들의 논문은 그렇지 않은 사람들의 논문에 비해서 쉽게 어셉트된다) 이것은 결국 ‘부자가 더 부자가 되는’ 현상, 혹은 ‘매튜 효과’ 와 비슷하며, 이것은 로버트 머튼이 거의 50년전에 논했던 이야기이다.  (R. Merton Science 159, 56–63; 1968).

결국 저명성 자체가 저명성을 낳게 되면, 시스템의 노이즈는 증폭된다. 즉 가장 큰 성공을 하는 데에는 어느정도 운이 기여하며, 결국 운 자체가 또 다른 운을 낳는다.

설사  지위에 대한 편향이 없다고 하더라도, 다른 개인적인 편향이 결정에 영향을 미칠 수 있다. 우리가 어떤 후보자를 다른 후보자로부터 선택할 객관적인 기준이 없는 경우에, 사람들은 자연스럽게 주관적 선호에 의존하게 된다. 가령 신규 교수임용 위원회는 특정한 연구 토픽, 특정한 그룹의 사람, 혹은 특정인을 의식적, 무의식적으로 선호할수도 있다. 이런 식으로 이전의 성취가  미래의 성취의 확률을 높이며 결과적으로 이는 불평등을 심화시킨다.

논문이나 연구 프로포절을 심사할때 엘리트 과학자를 선호하는 것은 마치 우사인 볼트가 최근 5대회에서 우승했으므로 다음 대회에서 10m 앞에서 뛰게 하는 것과 마찬가지이다. 이렇게 저명성에 의해 의존받는 평가는 과학자들을 자신을 잘 포장하고, 좋은 결과만 내놓게 만드는 경향이 있으며, 과학 연구의 투명성과 건전한 비판을 저해한다. 이러한 경향은 결국 연구재현성 문제를 악화시키는 주 요인이다.

그렇다면 해결책은 없는가? 우리는 과학에서 권위를 하루아침에 없앨 수는 없다. 불완전한 해결책이라면, 저명성에 대한 판단은 주관적이라는 것을 인정하는 것이다. 여기서부터 시작하여 좀 더 어려운 쪽으로 나가야 한다. 즉 소속된 대학의 명성이나 이전의 논문 업적 등과 같은 휴리스틱에 의존하는 것에서 떠나서, 논문이나 프로포절 자체를 잘 읽고 검토하여 이것이 좋은지 아닌지를 판단하는 것이다.

내가 이러한 지위 편향을 피하는 한가지 방법이라면 스스로 저자의 신원이 누군지 보지 않고 평가를 하는 것이다. 이러한 소위 ‘이중 맹검 리뷰’ (Double Blind Review) 는 사회학이나 심리학분야의 많은 저널에서 현재 채용하고 있다. 이러한 이중맹검 리뷰를 체험해 본 이후에 내가 느낀 것은 내가 그동안 얼마나 저자가 누군지를 연구가 어떤지 판단하는 일종의 지름길로 사용하고 있었다는 것이다. 이러한 저자의 신원에 대한 정보 없이 연구를 평가하는 것 – 잘못하면 대가의 연구에 혹독한 평가를 할 수도 있다는 – 은 정신적으로 매우 스트레스받는 일이다. 그러나 내 생각에는 이것이 과학을 평가하는 가장 좋은 방법이다.

과학 커뮤니티는 건실한 연구에 보상을 주는 동시에, 누가 최고 중의 최고 과학자인지를 추측하는 것을 삼가는 것이 좋다. 실제로 어떤 과학자들은 상위 20% 정도의 연구 계획서를 고른 다음, 실제로 누구한테 연구비를 주는지는 추첨으로 결정하는 것을 제안하기도 했다.  (F. C. Fang and A. Casadevall Science352, 158; 2016).

지위 편향을 완전히 없애는 것은 아마 불가능할지도 모른다. 그러나 적어도 모든 사람이 시도해볼 가치는 있다. 즉 과학자의 저명성에는 지금보다 덜 관심을 가지고, 이보다 관심이 떨어지는, 그러나 중요한 ‘과학적 엄밀성’ 에 좀 더 관심을 기울일 때이다.