凡是搞计量经济的，都关注这个号了

稿件：econometrics666@126.com

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

相关文章，参考：1.如何在实证研究中操纵结果而不被发现？2.实证研究中的P值: 误解, 操纵及改进, 探析P值操纵表现及原因,提出相应的改进策略，3.AER强调计量方法的重要性, 经济学因果分析中的p值操纵和发表偏倚！4.DID和IV操纵空间大吗? 一切皆为P-hacking，5.800名科学家联合呼吁, 停止使用统计学上的P值

在不透明的情况下使用控制变量实现统计显著性

正文

Lenz, G., & Sahn, A. (2021). Achieving Statistical Significance with Control Variables and Without Transparency. Political Analysis, 29(3), 356-369. doi:10.1017/pan.2020.31

How often do article depend on suppression effects for their findings?How often do they disclose this fact?By suppression effects, we mean control-variable-induced increases in estimated effect sizes. Researchers generally scrutinize suppression effects as they want reassurance that authors have a strong explanation for them, especially when the statistical significance of the key finding depends on them. In a reanalysis of Observational studies formal leading journal,we find that over 30% of articles depend on suppression effects for statistical significance. Although increases in key effect estimates from including control variables are of course potentially justifiable, none of the articles justify or disclose them.These findings may point to a hole in the review process: journals are accepting articles that depend on suppression effects without readers, reviewers, or editors being made aware.

在不透明的情况下使用控制变量实现统计显著性

如图一所示，我们复刻并且再现这些文章的主要发现，包括主要解释变量的系数估计以及其标准误差。

图二展示从二元模型到含有控制变量的模型p-值的变化，以及研究人员披露二元模型的频率。图像中，箭头的起点为没有控制变量模型的p-值，终点为含有控制变量的完整模型p-值。当控制变量使主要效应估计的p值下降，箭头朝下；反之，当控制变量使主要变量回归系数的p值上升，箭头朝上。图二指出，存在大量箭头朝下。但当研究者加入控制变量，大多数p值下降，从高于%5到低于5%。需要指出，仅有当系数的绝对值上升，p值的下降才能称为遮掩效应，因为p降低也可能是由于较小的标准误差。

图三为本文的主要发现。为了研究遮掩效应，我们把p-值的变化分为两类情况：1因更小的标准差引起的p-值变化，用虚线表示；2。仅因系数改变引起的p-值变换（遮掩效应），用实线表示。在49份观察研究中，其中的20份，遮掩效应帮助文章p-值低于0.05。尽管并不是所有文章是通过完整模型来取得显著统计，但p-值的下降可能对出版文章至关重要。

为了显示控制变量是如何引起图二和图三中的p值变化，图四给出了从二元到多元回归对主要解释变量的系数对数变化和标准差的对数变化。每一点表示系数和标准误差对数变化，并按照p-值改变来排序。遮掩效应发生在多众情况中。如果遮掩效应并不影响研究的统计显著，那么遮掩效应，甚至作者并没有合理的解释，也并不会产生问题，因为统计显著并不依赖于此。图像表明即使是对主要解释变量的系数估计小小变化，也会对统计显著产生巨大的影响。

实验研究是在大样本中随机处理，遮掩效应在实验研究中比较少见。与观察研究相比，研究人员在大样本中随机分配处理，主要变量与控制变量的相关性是最小的，特别是随着样本量的增加。所有我们检验的实验研究都是采用随机分配的方法，以及基于大样本。样本量的中位数为N=868，最小的样本量也有N=156。图五展示，很少的实验研究的p-值会在加入控制变量的情况下减少。随机实验具有许多优点，其中更少受到研究人员的自由地选择变量的影响。

图二图三为本文的主要发现，且这发现是稳健的。如图六所示，当研究人员并没有披露二元模型，添加控制变量会使p-值下降，这一发现在不同子集之间保持一致。当研究人员使用固定效应或不使用固定效应时，另外当我们排除效应符号翻转的情况后，P值会下降。p-值在APJS中的三卷,在每个量化分支（American，comparative，international relation）也下降。当二元模型/最简化模型中不包含任何协变量与当我们必须添加协变量在最简化模型使得模型合理时，p-值也会因遮掩效应而下降。最后，在对照组数目少于中位数(8个)的研究中，以及在对照组数目多于中位数的研究中，p-值也会下降。

研究文章表中常常包含几种回归模型，研究人员按照顺序依次添加控制变量，但这些控制变量可能有几千个不同组合的模型。图七展示了研究人员可能因此产生的影响范围，展示了所有控制变量的组合的t 统计分布。其中，b代表二元模型的情况，m代表多元模型的情况。由此看出，越过统计显著性阈值的估计，有时产生相反符号的效果。需要指出，图七低估了研究人员自由地选择控制变量带来的影响，因为图七仅反映了文章样本中作者选择的控制变量。当然，控制变量的选择只是构造模型的几个来源之一。

除了限制控制变量的自由地选择，研究人员应该注意遮掩效应的来源。在某些情况，研究人员对此有合理的解释。但是在一些情况，研究人员应该考虑排除会带来遮掩效应的变量，例如当来源是中介效应或放大偏差时。

1.什么时候应该使用回归分析？控制变量意味着什么？2.如何选择正确的因变量(控制变量)，让你的计量模型不再肮脏，3.调节变量, 中介变量和控制变量啥区别与联系? 4.控制、调节和中介变量，系说，5.核心解释变量A不显著, 但加入变量B后, 为什么A和B都显著了？6.被解释变量比解释变量的层级更高的模型设定合理么？7.审稿: 协变量何时重要? 哪个重要, 有多重要？8.三张图秒懂, 混淆, 中介, 调节, 对撞, 暴露, 结果和协变量的复杂关系，9.因果推断专题：6.再谈混淆变量，10.什么时候需要标准化回归模型中的变量？11.因果推断专题：1.混淆变量，12.虚拟变量回归模型是什么? 政策评估的前件，13.11种与机器学习相关的多元变量分析方法汇总，14.回归中各变量的数值相差过大有事, 又有什么问题？15.哦, 不, 回归符号反了, 我们该怎么办？16.回归系数与预期相反时, 我们能够采取的方法和思路有哪些？17.显著不显著的后背是什么, 非(半)参估计里解决内生性，18.在什么情况下多增加一个自变量后, 回归的R方会变小呢？19.控制变量选择问题: 如何鉴别好或不好的控制变量？附上14篇相关文章！20.如何测度不可观测变量遗漏的严重程度, 建议各位学者看过来！21.如何选择合适的工具变量, 基于既有文献的总结和解释！22.如何选择合适的工具变量, 基于既有文献的总结和解释！23.如何测度不可观测变量遗漏的严重程度, 建议各位学者看过来！24.社会网络计量经济学是什么？测度社会关系网中的同伴效应！25.社会网络分析最新文献和软件学习手册，26.添加一个新变量能使以前不显著的变量变得显著了？27.加入其他控制变量后, 估计系数的符号相反了？28.估计工具变量回归时, 是否必须将所有外生变量用作工具变量？29.实证分析观测数据的10条检查清单, 消除实证分析中许多潜在的虚假结果，30.可以在面板回归分析中使用时间序列解释变量或被解释变量吗？31.收入和年龄等变量是将其转化成有序离散变量还是当成连续变量进行回归呢？32.你确定找到一个好的工具变量了吗? 这将是一篇最值得你看的文章！33.因没阅读主编最新文章, 被知名期刊主编竟无情desk reject! 到底是什么方法方面的文章呢？34.审稿人有义务告诉你回归中可能的遗漏变量么？，35.回归中常数项显著说明模型中有遗漏变量问题？

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。