关注公众号

关注公众号

手机扫码查看

手机查看

喜欢作者

打赏方式

微信支付微信支付
支付宝支付支付宝支付
×

同行评议能走向透明吗?| Peer Review Week

2019.9.19

  数据分析可以增强对科学论文的审查,但出版商必须首先同意公开此类信息。

  同行评议是一件吃力不讨好的工作。整个学术界每年要花7000万个小时代表学术期刊为同行审稿。这些工作一般没有经济回报,也很少能得到应有的认可。

图片.png

  共享同行评议及其背后的数据有助于期刊杜绝学术出版中的造假、低效和系统性偏见。

  xubingruo/Getty Images

  有些人这么做是为了了解领域内的最新发展;有些人则单纯地认为这是自己的职责义务。不管出于什么原因,如果没有他们的贡献,学术出版业可能无以为继。

  近年来,一些科学家开始将自己的审稿工作贴到网上,主要是想让自己的付出得到认可。

  Publons等网站让研究人员可以发布他们的完整审稿报告,或是列出他们为之做过审稿工作的期刊。虽然成立才七年,但是Publons已经拥有170多万用户。

  Publons的流行说明学术界希望审稿工作能得到越来越多的重视,并希望资助机构等各方给予这项工作应有的肯定。这在“不发表就出局”的学术文化中非常关键,但同行评议背后的数据同样有着巨大的价值。

  共享同行评议数据还能帮助期刊杜绝学术发表领域内的欺诈、低效和系统性偏见。实际上,公开同行评议应当成为学术出版界的默认做法,即公开审稿内容,并在特定情况下公开审稿人姓名。

  支持率上升

  公开同行评议的模式已然取得了一些支持。部分学术期刊在线公开审稿报告的做法已经持续好几年了,如跨学科出版物F1000 Research和医疗期刊BMC Medicine。

  近期一项针对3000多名研究人员的调查发现,大部分调查对象都认为公开审稿应该成为主流做法,但前提是审稿人保持匿名。

  即使是这样,也能让大家对这个向来不透明的运作流程有更多的认识。

  例如,Publons上发表的一项对30多万篇审稿报告的字数统计分析发现,物理学家的审稿意见通常比心理学家、地球和空间科学审稿人和生命科学审稿人的审稿意见要短。

  可想而知,如果能够展开更深入的分析,就能对不同科学领域的审稿质量差异有更清晰的认识。但眼下只有少数期刊允许公开它们的同行评议报告,并公布审稿人的身份。

  Publons在2017年执行的一项分析显示,在约3700本开展同行评议的期刊中,当时只有约2%的期刊允许公开审稿内容。

  同行评议数据还能帮助消除偏见。去年,一项研究调查了生物医学期刊eLife近2.4万篇投稿的同行评议数据,发现女性和非西方人在审稿人中的占比严重不足。

  只有约五分之一的审稿人为女性,不到2%的审稿人来自发展中国家。(在期刊编辑和集体署名论文的“通讯作者”中,女性和非西方国家研究人员的占比也偏低——通讯作者通常为一个研究团队中最资深的科学家,是研究人员梦寐以求的荣誉。)

  eLife的调查结果并不完全在意料之外,其他期刊可能也存在类似的情况。尽管如此,eLife还是做出了正确的决定:主动披露数据并让审稿过程接受公开监督。

  基于这些数据,eLife就能向前一步,主动消除潜在偏见,让整个审稿流程更加公平。而对于许多别的期刊来说,它们的同行评议流程将继续以充其量不过是道听途说的信息为决策引导。

  呼唤透明度

  可能有人会说,出版商和期刊可以对同行评议流程展开内部分析,而且也许有的已经在这么做了。但为了真正实现透明化,让期刊的决策有理有据,更明智的做法是直接公开相关数据。

  公开发表同行评议数据也许还能帮助期刊应对学术出版的另一个问题:同行评议造假。

  举例来说,已有少数作者被发现使用捏造的邮箱地址冒充外部专家来为自己审稿。

  超过500项研究由于此类同行评议操纵行为而被撤回,这些研究大部分来自中国科学家。

  仅仅是公开同行评议的完成时间,都能让读者对审稿的严谨性有一个具体的概念——比如审稿人何时收到审稿邀请,何时提交完整的审稿报告。

  增加透明度还能防止审稿人窃取论文以自己的名义发表,要求作者引用他们的研究来换取正面的审稿意见,或是其他有违学术伦理的做法。

  反对意见主要集中在保密性对于同行评议完整性的重要性上——如果将审稿意见发布,尤其是要求审稿人以签名的方式公开身份,可能会让他们在审稿时避重就轻。

  还有一些人则担心公开审稿意见可能会让审稿人一开始就拒绝这项工作,或是因为担心被问责而花更多的时间进行审稿。

  但是,近期有一项研究分析了全球最大的学术出版商爱思唯尔(Elsevier)旗下5本期刊的逾1.8万篇审稿报告,结果发现同时发布论文原稿和审稿报告并不会影响整个审稿流程,虽然只有约8%的审稿人愿意在报告上签名。

  这项研究还发现,公开审稿报告并不会花去审稿人更多的时间,不会导致同意做同行评议的审稿人减少,也不会影响审稿人接收还是拒绝论文的决定。

  因此,爱思唯尔在今年2月表示他们正在考虑让旗下更多的期刊公开同行评议。

  改变将至

  即使审稿报告和审稿人身份无法公开,期刊也能以研究为目的,与外部研究人员共享这些数据。

  或者,他们可以在不违背保密性的情况下公开其他能够回答某些重要问题的数据,比如审稿流程需要耗费多长时间,编辑平均需要联系多少研究人员才能找到一位愿意审稿的审稿人,以及审稿人的地理位置分布如何。

  当然,公开审稿流程背后的数据无法解决同行评议的所有问题。此外,不公开审稿意见和审稿人在某些情况下可能确有必要。但是规范应该从完全不透明向必要时不透明转变。

  这种转变绝非易事。在关于爱思唯尔的公开同行评议试验的研究中,研究人员先后用了两年时间咨询法律专家,才获得了同行评议流程的具体数据。

  为了进一步简化将来的流程,上述研究的作者之一、意大利米兰大学的社会学家Flaminio Squazzoni与同事开发了一种标准方法,希望能给出版商用来分享同行评议数据。

  他写道,“根据我们的经验,毫无保留地公开同行评议流程信息的期刊,可以改进整个出版行业的透明度和问责制度,同时还能保障作者、审稿人、编辑和研究人员的利益。”

  希望学术出版商能听到这些声音。


推荐
关闭