누가 피어 리뷰를 두려워하랴

  1. 과학자의 커뮤니케이션 끝판왕 

과학자는 그냥 다른사람과의 교류도 없이 어두컴컴한 연구실에 틀어박혀 자신만의 세계에 골몰해 있다는 것이 일반적인 과학자에 대한 이미지이지만 (물론 그런 면이 없지 않다 ㅋ) 결국 과학자가 하는 ‘연구’ 라는 일이 완성되는 것은 세상과의 커뮤니케이션에 의해 이루어진다. 그 커뮤니케이션의 수단은 크게 2가지인데 (1) 학회 – 초청세미나 등을 통한 발표 (2) 논문.

그러나 요즘 말하는 과학논문을 내기 위해서는 대부분의 경우 소위 ‘피어 리뷰’ (Peer Review) 라는 과정을 거친다. 사실 피어 리뷰라는 단어는 한국말로 그냥 ‘동료평가’ 로 해석되기 때문에 “아 논문 다 쓰면 그냥 옆 자리에 앉은 ‘동료’ 한테 보여주고 ‘문제없음!’ 하면 걍 저널에 고고” 하는 것으로 생각하는 사람도 있겠지만 동료 평가란 그런게 아니다.

여기서 말하는 ‘동료’ 는 ‘동료’ 라기 보다는 ‘같은 업계 종사자’ 라고 봐야 하는데, 과학 연구라는 것은 결국은 인간의 지식을 확장하는 과정이기 때문에 해당하는 연구의 가치를 가장 잘 평가할 수 있는 사람은 누구인가? 결국 당신과 가장 비슷한 일을 하는 사람이다. (라고 쓰고 ‘잠재적/현실적 경쟁자’ 라고 읽는다)

어설프게 비유하자면 이런 느낌이랄까. 가령 김연아, 소트니코바, 아사다마오 등이 누가누가 피겨스케이트를 잘 타나 경연을 하는데 가령 김연아가 신기술을 개발했다고 하고, 이것이 동료평가에 의해서 인정되어야만 기술로 인정된다고 해보자. 그렇다면 김연아는 신기술을 타는 자료 (뭐 영상자료라고 치고)를 저널 오브 피겨스케이트에 보내면 저널 오브 피겨스케이트 편집장은 이것을 소트니코바, 아사다마오 코치에게 보내서 평가를 해달라고 한다...뭐하는 짓거리야 그래서 얘내들이 이러쿵 저러쿵 하는 논평을 다 방어해야만 신기술로 인정해준다고나 할까 ㅋㅋㅋ  물론 김연아의 신기술을 보고서 아사다마오라든지 등등이 이걸 바로 따라해서 논문을 투고할수도 있고. 그래서 여기에 대한 리뷰를 이 저널 오브 피겨스케이트에 보내고, 리뷰어의 의견에 따라서 김연아의 신기술이 인정된다. 물론 김연아의 라이벌이 리뷰어로 걸리면 열심히 물어뜯겠지…자신과 이해관계가 완전히 상충되는 경쟁자가 있다고 한다면 김연아는 ‘아사다 마오’ 는 리뷰어로 빼 주세염 하고 이야기할 수는 있다. 머 그렇게 해서 특정한 인물을 리뷰어에서 뺄 수도 있겠지만 누군가 예상치 못한 라이벌이 나타날런지는 그 누가 알겠나.

‘와 정말 어이없네 ㅋㅋ’ 라고 생각할런지 모르겠다. 그러나 믿거나 말거나 현존하는 과학 연구의 출판은 이러한 방식으로 이루어지고 있다. 사실 이런 피어 리뷰는 20세기 초반까지 그닥 일반적인 것은 아니었다고 보인다. 가령 독일에서 미쿡으로 건너온 어떤 과학자는 Physical Review 에 논문을 투고했다가 피어 리뷰에서 부정적인 평을 들으니 이런 식의 답변을 써서 보냈다.

스크린샷 2015-10-28 17.06.05

“저기요..우리는 당신네 저널에 논문을 출판하려고 보낸 거지, 허가없이 다른사람에게 보여주라고 보낸게 아니거던요? 전 당신네가 내 논문 보여준 익명의 전문가가 뭐라고 카던 거기에 응답할 필요성을 못 느낌요. 걍 다른데 논문 내고 말지…”

와 패기 개쩌네 혹은 역시 아모느님의 위엄이라고 생각할런지 모르겠지만 의외의 반전은 이양반의 논문에 딴지를 걸었던 리뷰어의 지적이 대체로 옳았고 논문은 그 부분이 수정된채로 최종적으로 출판되었다나 (자세한 내용은 여기를 참조)

뭐 어쨌든 요즘의 과학연구에서 연구를 ‘결과’ 로 만들기 위해서는 피어리뷰를 거친 논문을 출판해야 하는 것이 기본이 되었고, 논문을 투고해 본 사람이라면 ‘아 그 넘의 리뷰어 #2 때문에….’ 하는 식의 생각을 안해본 사람이 없을 것이다. 그러나 리뷰어는 당신의 적인가? 피어 리뷰에 대해서 몇 가지를 한번 좀 생각해보도록 한다.

2. 리뷰어는 자원봉사자입니다. 

과학계에 직접 종사하지 않는 많은 사람들이 오해하는게 하나 있는데, 피어 리뷰를 해주면 무슨 사례를 받는다 하는 것이다. 과연 그런게 있는가? 제가 알기론 그런거 없슴. 즉, 거의 모든 저널의 피어 리뷰어는 자원봉사자 되겠슴.

그런데 논문을 꼼꼼하게 다 읽고, 이것저것을 지적하고, 논문의 논리적인 문제를 공박하고, 데이터의 문제를 찾아내고, 가끔은 실험 결과에 대한 새로운 해석을 제시해주기도 하면서 장문의 리뷰를 쓰는 데는 시간과 노력  직이 걸린다. 최소한 몇 시간, 가끔은 며칠 정도의 노력이 걸릴수도 있는 일인데 왜 이 사람들은 돈도 안 나오는 남의 일에 시간과 노력을 쏟아붓는가?

일단 피어리뷰를 하면서 얻을 수 있는 것이라면 최신의 타인의 출판 안된 연구성과를 미리 접할 수 있다는 점일 것이다. 저널이나 리뷰과정에서 틀리지만 최소 몇 개월에서 1년 이상까지 출판까지 걸리는 결과를 미리 입수할 수 있다는 점 (가끔은 따라하기도 하지 ㅋ)은 큰 메리트이긴 하다. 그러나 그런 메리트를 따지지 않더라도 학계 자체는 근본적으로 상부상조의 원리로 돌아가는 곳이라는 것을 간과할 수 없다. 즉, 내가 낸 논문이 남의 평가를 받는다면 나도 언젠가는 남의 논문의 평가를 해 주어야 한다. 즉 리뷰어가 된다는 것은 어떻게 본다면 자신이 타인으로부터 학계의 일원이라는 인정을 받는다는 것이라고 봐야 한다. 만약 자신은 타인의 피어리뷰를 받고 논문을 내는데, 타인의 피어리뷰 요청을 항상 거절한다면? 아마도 이 사람은 자신의 경조사는 열심히 알리는데, 남의 경조사는 모두 생까는 사회인으로 간주될수도 있다. 

여튼 당신 논문을 갈갈히 찢어놓은 그 ‘나쁜’ 리뷰어 #1, #2, #3, #4 는 돈받고 당신의 진로를 가로막기로 작정한 악의 무리는 아닌 것입니다.

3. 타인의 시선으로 당신의 연구를 보는 기회 

사실 과학연구라는 것이 어려운 것 중의 하나가, 생각처럼 되는 경우가 별로 없기 때문이다. -.- 멋진 가설을 세워서 실험을 해도 실험은 예상대로 나오지 않을 경우가 더 많으며, 천신만고끝에 원하는 결과를 얻어서 논문을 썼는데 리뷰어 #1,#2,#3,#4 가 ‘에이~ 그 결과만으로 님이 하는 이야기 믿을수있나? 요것도 하고 저것도 하고 그것도 해서 다시 가져와봐’ 하면 더욱 빡치게 된다.

그러나 명심해야 할 것은 이들은 ‘대개는’ 당신의 앞길에 재뿌리려는 목적으로 이런 이야기를 하는 것이 아니라는 것이다. 리뷰어, 아니 과학논문을 읽는 모든 독자들이 가장 가져야 할 자세는 비판적인 자세이다. 가령 어떤 무명의 일본연구자가 ‘세포를 약산성에 푹 담구어 놓으면 좀 있다고 Oct4 가 팍팍뜨고 줄기세포가 되는데….’ 하는 논문을 리뷰한다면, ‘아니 그게 돼? 아마 실험이 뭔가 잘못되었을거야’ 하고서 이런저런 ‘반대가설’ 을 제시하게 될 것이다. 꼭 이렇게 극적인 경우가 아니더라도 모든 연구의 결과는 비판적으로 보는 것이 필요하게 된다. 의도적이지 않은 실수, 실험과정에서의 한계, 기타등등에 의해서 우리는 언제나 잘못된 결론을 내릴 수 있으며, 여기에 대해서 이견이 생기는 것은 어떻게 보면 당연하다고나 할까.

이러한 비판을 최대한 객관적으로 바라보는 것이 중요하다.

특히 연구 경험이 일천한 분이 처음 논문을 써서 내서 잔혹한 리뷰를 받고 ‘아니, 얘들은 왜 이리 삐뚤어졌어?’ 라는 생각을 할수도 있을 것이다. 그러나 여기서 알아야 할 것은 대개 삐뚤어진 것은 ‘당신’ 인 경우가 많다는 것이다. -.-

특히 연구실 내에서 연구에 대한 비판적인 토의가 잘 이루어지지 않는 경우에 있어서 제 3자인 리뷰어의 지적은 소중한 이야기가 된다. 이 사람들은 적어도 시간을 들여서 내 연구에 대해 코멘트를 해 준 사람이다. 만약 리뷰어의 지적이 모두 다 생뚱맞은 이야기처럼 들리고 내가 한 실험보다 훨씬 더 많은 실험을 하라고 요구하게 된다면, 지금 자신의 연구 진행과정 자체에 큰 문제가 없는지를 의심할 일이다.

물론 사람 사는 세상에는 이런저런 사람들이 있기 마련이고, 가끔은 (특히 ‘명망 있는 저널’ 로 갈수록) 자신의 이익과 관련되어서 좀 어거지스럽거나 무리한 리뷰가 들어오는 경우가 없지 않다. 그러나 대개의 리뷰어들은 자신의 연구를 발전시킬 수 있는 건설적인 비평을 주는 편이다. 전부라고 안했다. 내가 접때 낸 논문 리뷰어 개객기 이야기하지마셈

4. 리뷰어의 의견입니다. 존중해주시죠? 

그래서 웬만하면 리뷰어가 제시하는 논문에 대한 의견은 진지하게 받아들이는 것이 좋다. 사실 저 위의 아모 아저씨처럼 ‘에잇~’ 하고 다른 저널로 뛰쳐나갈 용기가 있다면 그래도 되고… 물론 리뷰어가 자신의 논문의 핵심적인 메시지에 대해서 딴지를 거는데 거기서 ‘예, 예’ 할 필요까지는 없다. 논쟁할 때는 확실하게 근거와 출처를 가지고. 그렇지만 괜히 감정적으로 싸우지는 맙시다. 진짜 확실한 개소리라도 “We respectfully disagree….”로 쓰는 미덕 ㅋ  참고로 모든 리뷰어를 다 100% 만족시키려다가 산으로 가지는 말기 바란다. 대개의 논문에서 최종 개제승인의 결정은 에디터가 한다.

5. 당신도 언젠가는 리뷰어가 된다. 

당신이 피어 리뷰를 거친 논문을 내는 것과 동시에 언젠가는 당신도 리뷰어가 된다. 리뷰어를 할때는 몇 가지를 생각했으면 좋겠다.

  • 저자의 소속과 이름에 너무 구애받지 않기 : 사실 요즘의 리뷰는 더블 블라인드 리뷰 (Double-blinded Review : 서로 누가 리뷰했는지 모르고, 누구를 리뷰하는지 모르는) 가 아닌 싱글 블라인드 리뷰, 즉 리뷰어는 누가 논문을 냈는지 알지만, 리뷰를 받는 사람은 누가 리뷰하는지 모르는 (그러나 리뷰 읽어보면 대개 짐작할수 있기도 함) 경우가 많다. 따라서 저자의 소속과 이름에 따라서 선입견을 가지는 리뷰가 나오기 쉽다. 특별히 아는 사람 잘봐주는 그런 것의 문제를 넘어서, 아무래도 세계적으로 지명도가 있는 대가랩의 논문이다…하면 뭔가 선입견을 가지고 보지 말라는 법이 없다. 그러지 말자고. 사실 이러한 것은 더블 블라인드 리뷰 시스템이 정착되면 굳이 신경쓰지 않아도 될지 모른다 (그러나 읽다 보면 누가 쓴건지는 대충 알수 있는 경우가 많지만 -.-)
  • 충분히 비판적으로 읽기 : 사실 리뷰 빨리 하는 방법은 대충 읽고 ‘아 좋은 연구예요~ 오타 이거 수정하고 저거 수정하고’  하는 것이다. 그러나 결국 그렇게 하는 둥 마는 둥 하는 리뷰면 왜 피어 리뷰를 애초에 하나. 매의 눈으로 데이터 하나, 문장 하나를 읽는 버릇을 들이자.
  • 그러나 건설적으로 : 물론 리뷰를 하다 보면 ‘이거 왜했니’ 하는 수준의 연구가 있다. 그러나 상당수의 연구는 미흡한 점이 있지만 적어도 어딘가에는 쓸모가 있을만한 건덕지가 조금은 있기 마련이며, 가급적이면 리뷰의 방향은 이 연구를 좀 더 발전시킬 수 있는 방향으로 지적해주는 것이 좋다. ‘와, 이거 우리도 지금 하는 연구인데, 가만있자, 좀 시간을 지연시켜야 할텐데…in vitro 데이터만으로 그런 주장을 할 수 있겠냐, 마우스 만드셈 해서 지연시켜야겠다’ 이런 생각하는 분들 좀 반성해라.
  • 저널의 스코프를 생각해라 : 저널 중에서는 해당 분야 혹은 과학계 전체에서 큰 임팩트를 가질 연구만 실어주는 저널이 있는가 하면, 뭐 그닥 그런 중요함은 없지만 (만유인력에 의해서 사과가 떨어진다, 참외도, 복숭아도, 낑깡도..식의 ㅋ) 현상의 보고라는 면에서 가치가 있는 연구도 있다. 자신이 어떤 저널에 실릴 논문의 리뷰를 하는지를 생각해보는 것이 좋다. 즉 연구의 임팩트와 중요성을 ‘현상보고’ 수준의 저널에 실리는 연구에 넘 강조하지는 말고, 대신 그런 경우 데이터 자체가 얼마나 믿을만하게 뽑혔는지를 중점적으로 보는 것이 좋다. (일부 저널에서는 아예 그런것을 강조한다)

6. 무플 보다는 악플 

저널에 논문을 보내서 받는 리젝트에도 두 가지 종류가 있는데, 에디터 선에서 피어리뷰 없이 잘리는 리젝트가 있는가하면, 피어리뷰를 거친 후에 받는 리젝트가 있다. 인터넷으로 비유하자면 전자는 걍 ‘무플’ 이고 후자는 ‘악플’ 이라고 보면 되겠는데, ‘무플’ 보다는 ‘악플’ 이 낫다. 걍 리뷰없이 에디터 선에서 리젝트를 먹어버리면 논문에 대한 전문가의 평을 들을 수도 없고 발전이 없는 반면, 피어리뷰를 통한다면 적어도 피드백을 받을 수는 있다.

따라서 리젝트가 되더라도 적어도 피어리뷰의 피드백을 받을 수 있는 수준의 저널에 제출하는 것이 좋다. 물론 가급적 명성이 있는 저널일수록 네임드 리뷰어에 의한 피드백을 받을 수 있으며, 경험상 그런 경우가 좀 더 심도있고, 미리 생각하지 못했던 부분에 대한 지적이 들어온다. 그러나 그럴 기회조차 없이 ‘무플 거절’ 이 되면 무슨 소용이 있겠는가?

즉, 논문을 내기 전에 자신의 논문 수준에 대한 객관적인 검토를 해보고, 적어도 피어리뷰 정도는 들어갈 수 있는 저널에 논문을 제출해라. 만약 피어리뷰 없는 리젝트가 여러번 계속된다면…….당신의 연구+논문의 수준에 대해서 가만히 가슴에 손을 얻고 곰곰히 다시 생각해 볼 필요가 있다.

7. 날 지도한 것은 지도교수라기보다는 익명의 리뷰어

생각해 보건데, 지금까지 연구를 하면서 내가 하고 있는 연구에 대해서 받은 피드백중 가장 쓸모있는 것들은 저널의 익명의 피어리뷰어로부터인 경우가 많았다. 어쨌든 이들은 해당 분야의 전문가가 아닌가? 특히 자신의 지도교수님의 지도역량이 그닥 기대에 못 미친다고 생각하는 대학원생이라면 저널의 피어 리뷰어는 당신을 ‘지도’ 해 줄 수 있는 대리사부님일수도 있다는 것을 명심할 필요가 있다. 일종의 ‘지도교수 아웃소싱’ 이랄까..ㅋ  물론 좀 더 나은 ‘지도’ 를 받기 위해서는 노오오오오력이 필요하다! 참고로 리뷰를 해보면 진짜 개판으로 쓰여진 논문의 리뷰는 더 성의가 없게 되기 마련이다. 즉 나오는 리뷰의 수준은 어쩌면 연구의 수준에 비례할 수도 있다.

암튼 리뷰어는 당신을 물지만은 않습니다. (그렇다고 절대 안 무는 것은 아니다..ㅋㅋ)

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s