查看原文
其他

p-hacking的精辟解释, 保证你一辈子都忘不了!

计量经济圈社群 计量经济圈 2022-09-04

凡是搞计量经济的,都关注这个号了

稿件:econometrics666@126.com

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

各位,还记得这个①“工具变量精辟解释, 保证你一辈子都忘不了”,②“断点回归设计RDD精辟解释, 保证你一辈子都忘不了”吗?今天,我们引荐一个与p值相关的问题,p-hacking。关于p值,可以看看:①DID和IV操纵空间大吗? 一切皆为P-hacking,②美国宣布禁用p值,原来p值很危险,如何取代p值?,③美国统计学会关于p值的声明,④科学家倡议P值需要0.005,显著性判断才成立,⑤800名科学家联合呼吁, 停止使用统计学上的P值

p-hacking在学术圈里被称作P值篡改,只要掌握一些数据操作的技巧,就可以让数据虚高,得出一个在统计学上显著且有意义的结果。进而,造成了经济学等社科领域出现复制性危机,参考“社会科学空前大危机,堪比08年金融危机”,为应对这场危机,采取的措施包括“AER史上最严关于论文数据和代码可得性政策,应对实证论文的复制性危机!

如果难以理解上述解释,下面由美国Sam教授关于p-hacking的精辟解释会让你柳暗花明:
p-hacking:指一个孩子向多个父母(在这里指父亲或母亲)寻求许可,直到得到肯定答复的过程。
下面是来自各位学者的精彩comments:
Sam: 不用说,我告诉我的孩子们预先注册他们的设计。
Vineet: 贝叶斯推断:很好地了解你的父母,你知道确切地去问谁来得到你想要的,以及家庭银行账号。
Ken: 我的朋友告诉她四岁的女儿,不行,她不能带着小猫一起去家庭旅行。几分钟后,她拖着一只手提箱从卧室里走出来,宣布说:“猫不在手提箱里。
Mine: 在我们家里你甚至不需要多个父母。一遍又一遍地问同一个家长,直到他们同意就可以。
Raymond: 原假设是,请求父母获得允许和根本不请求是没有区别的。
Quackack: 这就是为什么一夫多妻制会毁了很多家庭。一旦有太多的变量,孩子们就可以通过p-hack得到任何东西。我们的冰淇淋会被吃光的。如此,如果你有无数个父母,那么你就永远不会面对答案的错误。
Saya: 老实说,我只需要我的父亲在那里,脸上带着喜悦泪水的我就能找到我想要的答案。
Kristen: 我的父母在我们还没有大到可以问这个问题的时候就谈到了这件事。我们先问妈妈再问爸爸,爸爸就会说:你妈妈说了什么? 又挫败了我这扬起眉毛的脸。
Dakota: 在法律上我们称这种为挑选法院(forum shopping),并产生电路分裂。
William: D-blocking——你妈妈说了什么?5秒钟后,一个小人物转弯抹角地解释之后,我要去问她:你确定她说的是什么吗?
Manuel: 如果一夫多妻制更普遍的话,这将成为一个典型的例子。
Keshav: 以前,我是一名p-hacking专家。
June: 由于这种繁殖危机,父母可能需要坚持独立复制。
Marci: 滴、滴、滴,我们称之为水刑。
Amir: 这就是为什么他们称之为“多重比较谬误”(有人说过这个双关语吗?)
Joe: 疲倦:折磨数据,兴奋:唠叨数据。
Will: 这是纠正“婚姻比较”的好习惯。
Douglas: 我以为那是网络钓鱼。
Pink: Grubbs test: 忽略你孩子咬人的那一次。
Rod: 我可能得把这个加到我的简历里。
Scotty: 如果我没记错的话,先做祖父母们的基础工作通常效果会更好。
Tom:这就是为什么引起无限响应递归是我们的默认响应。在孩子组织一次面对面的家庭会议之前,对请求许可的回应应该是询问另一位家长。
Lavinia: 这里经常发生。有时甚至会有老奶奶参与(这通常意味着肯定的肯定)。
Yannick: 如果需要的话,父母们会对研究产生偏见。不要让你的孩子接受零假设。
Saman: Mum-hack: 在P1说“不”之后再问P2,这是一种惩罚。
Anthony: 第二种观点在我们家花费了1英镑的代价。
Israel: 我知道p-DoS,当一个孩子多次请求许可,防火墙就会崩溃,得到他们想要的任何结果。
Pajamazon: 在一夫多妻制家庭中尤其具有挑战性。
Daniel: 在这种情况下寻求处理时,必须进行BonBonferroni矫正。
Caitlyn: 长大的问题被推迟到父母双方都出席的晚饭时间。我猜我的父母对这种p-hacking早在它很酷之前就知道了。
Sandra: 我爸爸总是会说:“问问你妈妈吧。”
Kaiser:哦,不,p-hacking在年轻人中根深蒂固,而且可能是遗传而来的。
Horowitz: 我的3岁孩子使用蛮力p-hacking。在这个问题上,他反复地、越来越尖锐地问同一个家长。
Eghlidi: p < 0.025?
Joyce: 当你知道孩子要去问爸爸妈妈的时候,试着大声喊“隐形导弹来袭”作为你的密码。
你记住p-hacking了吗?

最近计量社群里有讨论与p-hacking相关的内容,各位可以参看一下:



拓展性阅读:

关于各种因果识别方法的120份经典实证文献汇总”,②哈佛大学新修订完成的因果推断经典大作免费下载!附数据和code,③因果推断的统计方法总结, 177份文献政策评估的计量方法综述, 包括最新因果推断方法在教育领域使用IV, RDD, DID, PSM多吗? 使用具体文献,⑥看完顶级期刊文章后, 整理了内生性处理小册子,⑤工具变量精辟解释, 保证你一辈子都忘不了,⑦DID, 合成控制, 匹配, RDD四种方法比较, 适用范围和特征,⑧关于双重差分法DID的32篇精选Articles专辑!关于(模糊)断点回归设计的100篇精选Articles专辑!匹配方法(matching)操作指南, 值得收藏的16篇文章等,⑪MIT广为流传的政策"处理效应"读本,⑫DID的研究动态和政策评估中应用的文献综述,⑬最新政策效应评估的四种方法,⑭政策效应评估的基本问题

下面这些短链接文章属于合集,可以收藏起来阅读,不然以后都找不到了。

2.5年,计量经济圈近1000篇不重类计量文章,

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle




数据系列空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 | 官员方言  | 微观数据 | 内部数据计量系列匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID数据处理Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |干货系列能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验计量经济圈组织了一个计量社群,有如下特征:热情互助最多前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此,建议积极进取和有强烈研习激情的中青年学者到社群交流探讨,始终坚信优秀是通过感染优秀而互相成就彼此的。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存