2ndOpinion.FYIEN登录
genius.wiki

#280 2013 · Center for Open Science / Cortex journal (Chris Chambers) · Academic publishing / research integrity

一本期刊不再看结果判论文,而是在结果出来之前就批准投稿

问题

评审只看成果优劣,等于悄悄奖励那些操纵成果的人,而不是扎实做研究的人

背景

学术期刊历来要等到看见结果才决定是否发表一篇研究,于是更偏爱新颖、统计显著的结果,而那些严谨却无惊人发现的研究常被拒稿。这给研究者制造了一个安静却强烈的诱因:进行p-hacking(反复分析直到某次跨过显著性门槛)、只挑有利的比较来报,甚至把探索性发现事后重新包装成最初假设(HARKing)——因为一个零结果,无论做得多严谨,都远不如一个漂亮结果容易发表。

圈内人人都知道这个诱因存在、正在扭曲已发表的研究记录,但标准的修法——复现要求、统计训练、伦理守则——全都发生在事后,作用于那些早已被「要做出可发表的结果」压力塑造过的研究,而这些研究在收集第一个数据点之前,没人动过它们。

换别人会怎么做

针对科研诚信问题的标准修法全都在事后——复现要求、统计训练、伦理守则、对成品论文更严的同行评审——每一招都作用于那些早已被研究者预期「最终发表与否取决于结果多亮眼」所塑造的研究,哪怕在一个数据点都还没收集之前,这种塑造就已经发生了。

他们看到了什么

Chambers看穿了:那个使人腐败的诱因根本不发生在评审环节,而是发生在更上游——研究者设计研究的那一刻,就已经知道结果会决定论文是否可发表。所以修法必须把「真正的接收决定」挪到结果存在之前,只评价问题和方法,这样p-hacking、选择性报告、或者事后把假设改得贴合出来的结果,全都失去了动力。

那一手

2013年,神经科学家Chris Chambers在期刊Cortex引入了Registered Reports(预注册报告):一种两阶段评审格式。研究者先在收集任何数据之前,把研究问题、假设和完整方法提交同行评审;期刊纯粹依据问题的重要性和设计是否严谨,给出「原则性接收」。论文跑完之后进入第二阶段,只检查预注册的方案是否真的被照做——即便结果是零结果或毫不亮眼,也不得据此拒稿。

为什么管用

在收集任何数据之前就把研究问题、假设和完整方法提交同行评审,并纯粹依据问题重要性和设计严谨度给出原则性接收,等于在数据出现之前就锁定发表决定——于是再也不存在让你反复分析到某次显著的诱因,也不存在只报有利比较、或把探索性发现事后包装成原假设的动因,因为这些招数都改不了一个业已作出的决定。第二阶段的评审只检查预注册方案是否真的被执行,因此零结果或平淡结果不会因「不够亮眼」而被拒,当初让结果操纵变得合理的那股选择压力整条都被抽掉了。于是留下的发表记录反映的是研究实际发现了什么,而不是研究者被诱使假装发现了什么——这正是传统发表里96%显著、预注册报告里44%显著之间那道刺眼落差的证明,这落差大都是选择偏差,不是两个框架各自真发现的东西有什么不同。

值了多少

此后有300多家期刊采用预注册报告格式,这一机制明显改变了哪些东西会被发表:传统发表的心理学论文约有96%报告统计显著的结果,而预注册报告的预注册假设里只有约44%显著——这证明传统格式不只是捕捉到了更多真正的阳性结果,更把实际发现的大量阴性结果过滤掉了。

什么时候会失灵

这套机制只对「完整方法真的能在事前定死锁住」的研究有效——那些尚没有清晰问题或方法可预注册的探索性、生成假设型研究,无法这样被评审,把所有研究都塞进预注册格式,等于消灭一种合理的研究路径。它还依赖评审者和编辑真心愿意只凭设计质量就给接收,抗住那股「私下掂量最终发现可能多有趣」的拉力,这需要真正的制度纪律才能维持,否则第二阶段仍会偷偷把结果判断塞回来。它也要求研究者接受锁定方案然后开工所损失的灵活性——一个偏好保留分析弹性、以便随数据而变的研究者或领域,就算这套格式摆在那里,也会抗拒采用。

后来呢

预注册报告如今在开放科学和复现危机文献中被广泛引用,视为那些直接呼吁研究者讲诚信所无法实现的制度性修复;随后几年,包括Nature在内的主流期刊扩展了自己的预注册报告项目,把「先承诺方法、后见结果」当作持久的发表标准,而不是一次小众实验。

资料来源

  1. [1]Registered reportWikipedia, 2026en.wikipedia.org
  2. [2]Registered ReportsCenter for Open Science, 2025cos.io
  3. [3]Registered reports: an early example and analysisPeerJ (via PubMed Central), 2019pmc.ncbi.nlm.nih.gov

收下它

同一路聪明

返回档案库