前沿, 终于有人解释为什么顶刊上很少有不显著的结果发表! 背后机理？
凡是搞计量经济的，都关注这个号了
稿件：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
正文
Felix Chopra, Ingar Haaland, Christopher Roth, Andreas Stegmann, 2022. The Null Result Penalty，Working Papers. In experiments with economists, we measure how the evaluation of research studies depends on whether the study yielded a null result. Studies with null results are perceived to be less publishable, of lower quality, less important, and less precisely estimated than studies with statistically significant results, even when holding constant all other study features, including the precision of estimates. The penalty for null results is of similar magnitude for various subgroups of researchers, from PhD students to editors. The null result penalty is larger when experts predict a non-null result and when statistical uncertainty is communicated in terms of p-values rather than standard errors. Our findings have implications for understanding mechanisms underlying publication bias and the communication of research findings
人们常说，在发表过程中，不显著的结果会受到惩罚，即期刊上很难发现结果不显著的文章。在即将分享的这篇论文中，作者研究了是否存在对不显著结果的研究的惩罚，如果有，什么机制可以解释这种惩罚？
作者招募了 500 多名经济学家作为样本，并要求他们评估不同的假想性研究。作者会就给定的研究做出改变，从而让其拥有较大系数且具统计上显著或拥有较小系数且统计上不显著。
与具有统计显著性结果的研究相比，即使在所有其他研究特征（包括估计的精确度）保持不变的情况下，不显著的结果的研究也被认为更难发表、质量更低、重要性更低且估计精度更低。
这种影响是否只在特定的经济学家群体身上出现呢？有趣的是，对于来自博士 生到期刊编辑的各个研究群体，对不显著的结果的惩罚程度相似。
人们想要奖励出人意料的结果吗？实际上，当专家预测到结果应该显著时，你所得到的不显著的结果的惩罚往往更大，这与人们认为发表过程中偏爱出人意料的结果的说法不一致。
不显著结果的惩罚是否取决于如何呈现统计不确定性？是的！我们发现，当不确定性以 p 值而不是标准误来呈现时，不显著的结果的惩罚更大。
我们的研究结果强调了，①结果还未得到之前就对文章进行评审的潜在价值，即在已知实证经验结果之前做出发表决定。
我们的研究结果还表明，②期刊应该告知审稿人不显著的结果的信息量和重要性，从而为其提供关于研究评估的附加指南。最后，我们研究的一个实际意义是，③根据标准误而不是 p 值来呈现结果的统计不确定性可能有助于抵消统计推断中的潜在错误。
简要说明：
下这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
3.5年，计量经济圈近1000篇不重类计量文章，
可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle
数据系列：空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 | 夜间灯光 | 官员方言 | 微观数据 | 内部数据计量系列：匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID数据处理：Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |干货系列：能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。