查看原文
其他

《自然》长文:叫停同行评审,学者表示“要下车”!

科研圈 2023-05-26

The following article is from Nature Portfolio Author Nature Portfolio

面对海量论文,期刊编辑很难找到乐意效劳的同行评审人。


本文转载自公众号“Nature Portfolio”

原文作者  Diana Kwon


2022 年 11 月,卫生经济学家 Chris Sampson 亟需一位英雄出手相助。Chris Sampson 在伦敦一家研究和咨询公司 Office of Health Economics 工作,是 Frontiers in Health Services 的副编辑,他从 4 月份起就一直在给一篇论文找审稿人。他差不多发出了 150 份审稿邀请,收到了 4 份评审意见,但其中仅有一份满足质量要求。Sampson 还需要两份评审意见,于是他在推特上发出了求助信息:“我需要一位#同行评审英雄…英雄们,请私信我。”


面对期刊和论文数量疯涨,Sampson 的困境正是全球编辑共同面临的问题。Publons 是一个追踪同行评审稿件的网站,现为分析公司科睿唯安旗下的 Web of Science 的一部分。据 Publons 统计,1990 年引文数据库 Web of Science 检索的论文约有 100 万篇,2016 年这一数字涨到近 300 万,翻了三倍[1]。但编辑们表示,审稿人群体的规模和组成并未同步增长,因为期刊常常青睐来自科学体系成熟国家的著名科学家,而非那些科研事业刚起步国家的青年研究员或科学家。


Balazs Aczel 是罗兰大学一位研究科学过程的心理学家。Aczel 与其同事分析了一个涵盖 8.7 万本学术期刊的数据集,他们估计,仅 2020 一年全球研究人员花在同行评审上的时间就相当于 15000 多年[2]。许多科学家正越来越频繁地拒绝审稿邀请。科睿唯安的 ScholarOne 是一个稿件追踪平台,帮助超过 8000 本学术期刊组织评审。ScholarOne 上审稿邀请的平均接受率从 2020 年的 37.5% 下滑到了 2022 年的 32.3%。


Balazs Aczel发现,2020年全球研究人员用于同行评审的总时间超过15000年。来源:Gabor Z. Horvath

大流行中的倦怠似乎加重了这一问题。去年 11 月,一项针对《自然》读者的调查(调查结果已于今年 2 月底公布)发现,近 1/3 的人自 2020 年 3 月以来减少了评审活动。资深研究员和处于职业生涯中期的研究员是同行评审的主力军,他们最有可能减少了审稿次数。


“审稿吃力不讨好,”马斯特里赫特大学的犯罪学家 Donna Yates 说,“同行评审就是无偿劳动,还会让你从研究或教学事务中分心。” 在里约热内卢联邦大学从事科学可重复性研究的 Olavo Amaral 说,此外现有少量证据显示,同行评审对于论文质量的提升有限。


许多科学家对那些从无偿评审中获利,同时收取高额论文发表费或订阅费的期刊——包括《自然》在内——越来越失望。施普林格·自然的一位发言人表示:“我们一直在寻找更好的新方法,以对同行评审人宝贵且重要的工作给予认可。”2017 年一项针对 1200 多名《自然》审稿人的调查显示,87% 的受访者认为审稿是他们的学术责任,77% 的人将其视为出版研究质量的保障,71% 的人表示不指望从审稿中获取报酬或认可(见go.nature.com/3dnzpgr)。但如今,受困于后疫情时代的挑战,许多审稿人感到这项职责过于繁重了。


Yates 等人认为给审稿人付钱能解决这一问题,但其他人表示这种办法既不道德也无法持续。更好的解决方案可能是让更多人来分担审稿工作,例如处于职业生涯早期的科学家,或是那些研究资源相对匮乏的国家的科学家——他们的审稿任务较轻。甚至可以让计算机算法来承担部分工作。


“每篇论文都要评审有点不现实,”Amaral 说,“我觉得这种体系本身可能难以为继。”


期待与回报


当今的同行评审体系可以追溯到 18 世纪。当时英国的皇家学会将研究报告分配给专家成员,旨在否决一切可能损害出版机构声誉的内容。19 世纪,论文取代了小册子和讲座,成为科学成果传播的主要形式。这一时期,英国和美国兴起了一种更加正式的评审体系,即让专家以匿名方式对稿件把关。20 世纪中叶,美国科学公共资助的涌入带动了论文出版数量的增长,从而对质量控制提出了更高要求。由此可见,同行评审在英语国家出现于科学作为精英活动的时代——不像今天,科研是一项全球性事业,研究人员还可以选择预印本,无需经过审稿人或期刊就能传播信息。


Olavo Amaral表示,期刊能构建更好的研究质量控制体系。来源:Patrícia Bado

每篇论文一般需要两到三位评审人,据 Publons 统计,科学家平均每年会接四到五次评审任务[1],但有些人做的远比这要多。人们常常指望他们把评审当成学术工作的一部分。评审很少被视为一项明确的职责,也几乎没有金钱或荣誉回报,虽然它可以有点回报:审稿人能最先读到最新的研究,而且能基于对评审流程的了解优化自己的稿件。


威斯康星大学麦迪逊分校的临床心理学研究生 Jesse Cook 认为,评审是科学界一种重要的利他行为。2019 年,在博士期间研究了几年睡眠,Cook 开始为公司提供咨询服务,公司询问他的意向薪资是多少。如今,他的咨询工作时薪约为 150 到 200 美元。与之形成鲜明对比的是,科学家在同行评审中付出了同等水平的专业知识,却毫无报酬。


COVID-19 大流行让他在时间规划上更加仔细。“大家的想法都有所改变,”Cook 说,“与家人共处明显成了许多人的优先事项。”现在 Cook 差不多每个月仍会审一篇文章——但他会比以前更频繁地拒绝审稿邀请,把时间留给家庭和论文研究。其他人在接受审稿邀请时也会更有选择性。“为营利性公司免费审稿是某种诓骗。”Amaral 说,他更愿意为非营利性期刊审稿。


Rebeccah Lijek 是马萨诸塞州曼荷莲学院的分子生物学家和同行评审学者,她选择将精力投入到预印本中——预印本通常发表在 bioRxiv 等平台,可供任何人评论。她喜欢单纯以质量为标准来评价科学,而不考虑一项研究的原创性是否满足特定期刊的发表要求。她觉得这个过程更具协作性,并由此建立了新的人际关系,结交了新朋友。“这样就是更有趣些。”Lijek 说。

Rebeccah Lijek主要评审预印本。来源:曼荷莲学院职工照

正如 COVID-19 大流行期间所发生的那样,预印本有助于科学发现的快速传播。但它们取代不了正式发表的论文,因为科学家需要用后者来充实简历。马克斯·普朗克生物学研究所的植物遗传学家 Detlef Weigel 表示,论文发表周期正在拉长。他回忆起 40 年前,大概 3 周就能收到评审意见——而现在最快也得 6 周。


等到论文见刊的时候,研究可能已经过去了几个月甚至数年之久,这会产生严重的政策影响,Sandersan Onie 说。他是悉尼一家非营利性心理健康研究机构 Black Dog Institute 的心理学研究员,也是印度尼西亚自杀预防协会的主席。他引用了一项自己正在提交流程中、关于印度尼西亚自杀率的研究做例子。“我们需要发布这些信息,协助制定政策。”Onie 说。

Sandersan Onie表示,在心理学研究中,同行评审的延迟可能关乎生死。来源:Aphrodite Delaguiado

印度尼西亚加查马达大学的公共卫生研究员 Firdaus Hafidz 表示,永无休止的发表周期增加了研究人员的工作。Hafidz 于 2018 年取得博士学位,目前仍在努力让博士期间的研究获得发表。他补充说,如果评审花费好几个月甚至数年时间,那么他可能得更新文献综述或重新分析。


南非金山大学的生物材料科学家 Pradeep Kumar 表示,同行评审过于迟缓会导致一些青年研究员彻底离开学术界。学生们必须发表一篇论文,才能进入博士候选阶段。如果论文发表延迟了,他们常常会在产业界找一份工作过渡——但一些学生就再也不回来了。Kumar 已经这样损失了三名学生,都是女生。“延期发表等于拒稿。”他说。


寻找激励手段

为应对延期,拥有数百年历史的同行评审体系需要做出改变,Onie 说。“如果你想让别人做点啥,那么就得采取激励措施。”


一些期刊会付给审稿人报酬,或免除他们的论文处理费或订阅费。例如,每年为一本《自然》系列研究期刊完成三次及以上论文评审的审稿人,拥有任意一本自然科研所提供期刊的免费线上订阅权。施普林格·自然的发言人表示,审稿人欣赏这种订阅方式并在发表的文章中提及姓名的认可方式。


另一些期刊通过在科睿唯安的 Web of Science 审稿专家认可服务(Reviewer Recognition Service)发布评审意见,或记入科学家履历,来给予他们公开认可。但 Yates 表示这种线上声誉毫无用处。她每投一篇论文要审三篇,更希望自己的工作能有所回报,正如她有偿在政府项目中作为顾问发挥犯罪学专长,或是在法庭上提供专家证词一样。“同行评审应该直接有偿。”她说。


其他科学家则认为,除非提高订阅费用,否则许多期刊负担不起审稿人的报酬。Aczel 与其同事估算了三个国家的科学家在评审上所花费时间的货币价值,得出美国一年超过 15 亿美元,中国超过 6 亿美元,英国接近 4 亿美元[2]倘若采取有偿评审,非营利性期刊可能无力与商业对手争夺审稿人。而且那些渴望挣快钱的研究人员可能会粗制滥造评审意见。


Pablo Manavella 是阿根廷滨海农业生物技术研究所的植物分子生物学家,他担心期刊会将这部分额外成本(评审费用)直接转嫁给作者——这是低收入国家的作者难以承担的。额外费用会以论文处理费的形式,从 Manavella 微薄的政府经费中流出,汇入审稿人的账户——而这些人更可能生活在较富裕国家。“我觉得这不对。”他说。


大部分审稿人想要的也不是钱。在 2019 年 Publons一份关于基金同行评审的报告中,作者调查了哪些因素能激励科学家承担评审工作。在所有激励因素中,钱只排第六位,排在它前面的包括更明确的雇主认可,和评审工作的在线记录[3]


“很多人对信誉名望等反响更好,”Sampson 说,“我觉得这种奖励办法适用性广得多,也更加公平。”


不断增加的评审

但这些激励手段都无法满足研究人员真正的需求——时间。期刊可能需要彻底改革,才能获得深思熟虑的评审意见而不把审稿人榨干。


一个简单点的解决方案是扩大审稿人数量,构建更多样化的审稿人群体。“我们还未让处于职业生涯早期的研究人员充分参与进来。”德国 EMBO Press 的科学出版物负责人、《自然-细胞生物学》前主编 Bernd Pulverer说。“我们的审稿人中男性太多、白人太多。”EMBO 正按照性别和国家来追踪审稿人,并向更多处于职业生涯早期的研究人员发出邀请,Pulverer 说。


编辑们常常用软件来寻找审稿人。但电脑生成的名单不够多样化,Regine Paul 说。她是挪威卑尔根大学的政治学家,也是 Critical Policy Studies 的联合编辑。她的系统会就每篇论文给她推荐 30 位审稿人。她叹息说,“其中通常只有一两位来自美国、欧洲和澳洲以外的地区。”她尽可能寻找更大范围的审稿人,但并不总会有充足的时间。

Regine Paul表示,电脑生成的审稿人名单不够多样化。来源:Eivind Senneset

Onie 指出,低收入国家中的部分潜在审稿人可能因为缺乏信心而拒绝评审。他说,在印度尼西亚,“一些教授从未发表过论文,因为那里的学术才刚刚起步。”如今有一些项目为职业生涯早期的或缺乏经验的研究人员提供同行评审方面的培训甚至认证。


从代表性不足的群体中寻找审稿人,可能会加重现有的“少数派税”——他们常常被要求在多元化、平等和包容等问题上无偿投入时间。此外,在一些全球南方国家,由于部分政府和大学把经费和论文挂钩,评审可能会损害研究人员的收入或实验室经费。例如,Kumar 所在的金山大学会拨给研究员一部分政府津贴,用于实验室管理,而这个比例是根据他们的发表速度来定的。位于印度尼西亚 Hafidz 和 Onie 表示,他们在一流期刊上发表论文可获得数百甚至数千美元的现金奖励,但评审一分钱也没有。因此,将发表论文的时间用在评审上,都可能是浪费钱。


另一个解决方案是减少期刊的评审量。科睿唯安的产品管理高级总监 Josh Dahl 表示,一些期刊会在送审前进行更严格的筛选,并在邀请审稿人进行评估前拒稿或要求作者改进。其他研究人员表示,对某些类型的论文可以适当放宽评审,例如某些介绍数据库或不用新数据的观点的论文。


计算机也能帮上忙。期刊已经在用算法来检测剽窃或篡改图像。尽管人工智能等工具尚不能取代同行评审,但软件可以检查统计分析,或核对基本方法[4]——Amaral 收集的数据显示,审稿人在这方面的表现本就只是过得去[5]


期刊还能重复利用评审意见,这样有些重新投递的稿件就不用再找三个审稿人了。Aczel 估计,这每年能为审稿人节约 2800 万小时[2]。例如,被一本施普林格·自然或 PLOS 期刊所拒绝的科学家,可以选择旗下另一份期刊重新投稿,并附上前一次的评审意见。一月底,期刊 eLife 推出了一种模式:所有经过同行评审的论文会以“评审预印本”的形式发表在其平台上,并附有期刊评估和公众评论。作者可以对这些意见进行回复,并选择是修改稿件后继续向 eLife 投稿,或是将稿件连同评审意见一起发至另一家期刊。


另一些组织为作者提供投稿前评审服务。Peer Community in 是一家提供同行评审的非营利性组织。通过评审后,作者可以将论文发表在 Peer Community in 的任一本合作期刊上,或者将研究与评审意见一起投至其他期刊。另一个项目 Review Commons 同样为作者提供评审。获得评审意见后,作者可以将其连同稿件投至几本附属期刊,包括 EMBO Press 的期刊。该项目于 2019 年底推出,“它运作得很成功,”Pulverer 说,“这些信息足以让编辑做出明智的决定。”审稿人渴望参与进来,因为这样他们就能专注于科学本身,而不用操心这项研究是否适合特定期刊。


来自丹麦奥胡斯大学的科学社会学博士后 Serge Horbach 认为,科学正在朝着“发表——评审——管理”的模式发展。期刊可能不再为论文把关,而是仅参与最后的阶段,即发表版本的存档与论文索引工作。“未来期刊所做的不过是给论文加盖批准印章,接受其作为经过认证的知识。”Horbach 解释道。


Amaral 认为当前的同行评审体系不可行,说这是可以改变的。“我们能够以更好的方式重建更好的质量控制体系。”在不断增长的科学事业的重压之下,这么做或许能避免审稿人陷于崩溃。

参考文献:

1. Publons. 2018 Global State of Peer Review (Publons, 2018).

2. Aczel, B., Szaszi, B. & Holcombe, A. O. Res. Integrity Peer Review 6, 14 (2021).

3. Hayes, M. & Hardcastle, J. Grant Review in Focus. (Publons, 2019).

4. Schulz, R. et al. BMC Res. Notes 15, 203 (2022).

5. Carneiro, C. F. D. et al. BMC Res. Integrity Peer Rev. 5, 16 (2020).


原文以Stop the peer-review treadmill. I want to get off标题发表在2023年2月13日《自然》的职业特写版块上

© nature

doi: 10.1038/d41586-023-00403-8

版权声明:

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考,一切内容以英文原版为准。欢迎转发至朋友圈,如需转载,请邮件China@nature.com。未经授权的翻译是侵权行为,版权方将保留追究法律责任的权利。


© 2023 Springer Nature Limited. All Rights Reserved


本文转载自公众号“Nature Portfolio”。凡本公众号转载、引用的文章 、图片、音频、视频文件等资料的版权归版权所有人所有,如因此产生相关后果,将由版权所有人、原始发布者和内容提供者承担,如有侵权请尽快联系删除。封面图来源:Pixabay


▽ 精彩回顾 ▽


点个“在看”,及时获取最新学术资讯

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存