오픈 사이언스 센터의 PLOS Biology 연구를 다룬 Ars Technica의 보도에 따르면, 심리과학(Psychological Science) 저널은 2014년 1월 데이터나 자료를 공유한 논문에 표시하는 배지를 도입했다. 저자들은 배지가 독자에게 저널이 투명성을 중시한다는 점을 알리고, 저자에게는 자신이 기준을 충족했음을 보여줄 수 있게 한다고 말한다.

2012년과 2013년에는 평균 2.5퍼센트의 논문만이 이용 가능한 데이터를 보고했다. 배지 도입 후 이 비율은 빠르게 22.8퍼센트로 올랐고, 2015년 상반기에는 최고 39퍼센트까지 상승했다. 배지가 없는 비교 저널들은 3.3퍼센트에서 2.1퍼센트로 떨어졌으며, 저자들은 이를 근거로 이 급증이 단순히 공개 데이터를 향한 더 넓은 추세 때문만은 아니라고 주장했다.

연구팀은 또한 2,478편의 논문 전반에 걸쳐 품질을 점검했다. 배지 없이 데이터를 보고한 논문 중 다른 저널에서는 37편 가운데 6편만, 배지 도입 전 심리과학에서는 10편 가운데 2편만이 접근 가능하고 정확하며 사용 가능한 데이터를 갖추고 있었다. 배지가 있는 경우 실제 공유는 보고된 공유와 훨씬 더 밀접하게 일치했으나, 완벽하지는 않았다.

논문 상단의 눈에 띄는 배지로 투명성에 보상을 주는 것, 즉 공유가 인정받게 만드는 거의 무료에 가까운 신호다.

연구자들은 주요 결과를 발표해야 한다는 경력상의 압박에 직면하며, 배지가 생기기 전까지 데이터 공유는 어떤 인정도 받지 못했다.

배지는 저자와 독자 모두에게 공개적이고 즉각적인 신호다.

배지를 받기 위한 명확한 기준은 투명성을 향한 단계를 더 쉽게 따르게 할 수 있다.

배지가 없는 저널과 비교함으로써 배지의 효과를 일반적인 문화 변화와 분리할 수 있었다.

눈에 잘 띄는 작은 지위 신호는 사적인 미덕이 보상받지 못하는 곳에서 규범을 바꿀 수 있다. 그리고 그 효과를 배지가 없는 대조군과 비교해 검증하라.

연구 저자들은 배지가 왜 효과가 있는지는 분명하지 않다고 말한다. 투명성이 중시된다는 신호 때문일 수도 있고, 단순한 지침 때문일 수도 있다. 이 연구는 공유 여부를 측정했을 뿐, 공유가 궁극적으로 재현을 더 쉽게 하거나 결과를 더 신뢰할 수 있게 했는지는 측정하지 않았으며, Ars 기사는 공유된 데이터가 항상 사용 가능한 것은 아니라고 지적한다.

근거 확인하기

출처

  1. Simple badge incentive could help eliminate bad science Ars Technica · arstechnica.com ·