查看原文
其他

DID与马氏距离匹配能产生怎样的火花? 那DDD呢?

计量经济圈 计量经济圈 2022-05-11

凡是搞计量经济的,都关注这个号了

稿件:econometrics666@126.com

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

关于下方文字内容,作者:王雨舟,美国威斯康星大学麦迪逊分校计量经济学,通信邮箱:wang2555@wisc.edu

*读完这个之后再看看原文,内容非常丰富

作者之前的文章:1.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣!2.社会网络计量经济学是什么?测度社会关系网中的同伴效应!3.拐点回归设计RKD概览, 及其开展实证研究的经典示例,4.2021年实证计量方法重点选题首次公开, 这可不可行?
Daniel Mangrum, 2019, You’re Not You When You’re Hungry: Measuring The Impact of a Supplemental Nutrition Program on Childhood Test Scores,  https://www.danielmangrum.com/docs/FTF_current.pdf
I estimate the impact of a supplemental nutrition intervention on math and language arts test scores at low income elementary schools in the Mississippi Delta. The intervention provided meals to students in order to replicate school breakfast and lunch over the course of the weekend. Using a difference-in-differences design, I estimate the effect of the intervention on the mean and the distribution of test scores. I find that treated students performed better on both language arts and math standardized tests. The average gains stem from a reduction in the share of students achieving at the lowest threshold and shifts toward higher thresholds. I also use administrative daily attendance data to estimate how the intervention affected attendance by day of the week. Attendance on Fridays improved likely due to the transfer incentive, however I find improvements in attendance on Mondays and Tuesdays which is evidence of improved nutrition over the course of the weekend.
用DID和DDD估计周末营养补充项目对学生表现的影响

实验背景

尽管美国联邦政府、州政府和地方机构在解决低收入家庭的温饱问题上花费了许多精力,但食物保障在美国仍然是公众关注的话题。以往的研究已对在校营养餐食对学生学业表现的影响和重要性进行了较为深入的探索,充分的理论和实证结果支持“营养缺乏不利于学生的长期发展”这一论点。然而,迄今为止多数研究都将关注点放在了在校餐食改进项目,还不曾有学者注意到学生非在校期间(如周末)的进餐情况或许也对学生发展有显著影响,进而通过在周末为学生提供营养餐的介入实验对该问题进行深入研究。
自2010年以来,密西西比州的粮食不足问题一直非常严重,有约八分之一的家庭营养不良。Mangrum 以密西西比三角洲的学生为对象进行实验,效仿免费或减价午餐项目Free and Reduced Lunch Program (FRLP)的做法为实验组的学生提供周末餐食,随后收集实验前后的测试成绩和出勤数据进行分析。在Mangrum的设计中,实验组包含了Brooks Elementary  的三四年级学生、Stampley Elementary School 的三四五年级学生,其中超过9成的学生在FRLP的惠及范围内。根据调查问卷结果,两个学校半数以上的家长都反映了不同程度的食物缺乏问题。最后实验组总计有174个学生,被纳入实验组的学生需提交父母或监护人的正式签字同意确认书。他们在2011年9月30日和2012年5月18日期间的每个周五都会收到本周末的食物供给,也就是说只有他们在周五到学校上学的情况下才能够取得食物。

数据与模型选择

Mangrum 收集了密西西比教育局提供的Mississippi Curriculum Test, 2nd Edition (MCT2) 测试结果,包括07-08学年度至11-12学年度从三年级开始的语言艺术和初等数学测试。该数据以密西西比公立学校各年级为单位,并将分数按照三个临界值为标准分成低阶(Minimal),基础(Basic),熟练(Proficient)和高级(Advanced)四类,便于研究成绩分布的变化。此外,作者获取了密西西比公立学校从幼儿园到5年级学生在对应年份的出勤记录,将其转化为每注册学生平均一周的缺勤天数用以控制学校规模上的差异。作者还加入了其他项目中可能与食物不足状况有关的因素作为控制变量进行补充分析。
首先,考虑到非实验组的学生可能受到实验之外的因素影响而在2011-2012学年度展现出更优异的成绩和更高的出勤率,同时为了排除家长和老师为了继续获得资助而作出较为正面的回答,作者采用DID模型对该补充营养计划对学生表现的影响进行估计。
Mangrum对比实验组和密西西比总体的数据发现,实验组的学校平均测试分数较低,且两门测试中都有更高比例的学生处于低级和基础水平。实验组在周一和周五的缺勤率也较总体更高。与此同时,他们具有更高比例的黑人学生,更小的平均年级规模以及较高的“免费和减价午餐”项目符合比率。实验组与非实验组(untreated group)在平均成绩上的差异、及其与样本总体(full-sample)在趋势上的一致性使得Mangrum选择了样本总体(full-sample)而不是非实验组(untreated group)作为对照。考虑到选择偏差(selection bias),当实验组与非实验组存在系统性差异时,将非实验组的结果作为实验的反事实结果(counterfactual)是不合理的。
为了寻找更加合理的对照组,作者从所有密西西比州公立学校中选择了在可观察数据上与两个实验组学校更相似的子样本,并运用匹配方法(Matching)进行DID分析。在匹配(Matching)过程中,实验组与对照组个体的近似匹配通常基于Probit或Logit等非线性模型。然而,非线性模型不适用于学校总数极少的本实验,边缘化的实验组数据使得匹配重合度非常低,将无法确保结果的准确性。因此,作者采用了马氏多元距离Mahalanobis multivariate distance(MD)从FRLP资格、年级规模和黑人比例三个维度对样本进行相似性度量,从而给与这两个实验组学校更相似的样本分配更多权重(Rubin,1980)。这种方法通过计算控制变量的样本观测值与实验组学校均值之间的差异,并以控制变量的方差-协方差矩阵的逆来加权,最终得到的以标准偏差度量的加权距离,衡量了相应匹配的变量值的单位相似度。通过MD matching的结果进行排序,选择前四分之一部分的学校,也就是与实验组学校相似度最高的前25%的样本组成新的“相似”对照组。

实证分析与结果

1.MCT2测试分数与成绩分布

针对餐食补充项目对测试分数的影响,Mangrum以学校为单位,允许年级之间的差异性。回归模型中固定了年级效应g、学校个体效应s和时间效应t,且引入学校固定效应与时间t的交叉项以表示同所学校分数随时间的线性变化。

这种方法的缺点是实验群组数量非常少,根据MacKinnon and Webb 的最新研究,这可能会导致偏低的标准差,从而高估原假设的拒绝域。针对这个问题,作者进行了3500次安慰剂模拟,每次从备选样本中随机抽取两所学校作为假想实验组,得到系数估计值后与真实估计值对比进行单边和双边检验,并分别计算p-value的样本均值。由于这种方法倾向于低估原假设拒绝域,单边检验反映了拒绝原假设的下界。

如图5所示,LA Score 和 Math Score的前两列和后两列分别是对样本总体和高相似度子样本的回归结果,其中偶数列是MD方法加权后的回归结果。提供周末餐食的实验组在两个测试上均表现出比对照组更高的成绩,且在LA 分数上的增长几乎是Math分数增长的两倍。根据RI-β 单边检验得到的p值,可在0.01的置信水平拒绝原假设,而依据双边检验的p值则无法拒绝。换句话说,在群组数量极小的情况下,拒绝域可能被高估,得出原有结论(在单边检验情况下的显著结果)有一定困难。

图六显示了各学校在四种分数等级分布上的变化。给予餐食补充的学校在两个测试中的低级占比都有所下降,高级占比上升,中间两个等级则在不同的测试中有区别性变化。总体而言,对考试成绩分布的分析表明,最低档成绩的学生有所减少并转向较高等级。在语言艺术方面,这些改进很大程度上来自基本等级学生占比下降并进入熟练等级。数学方面学生低等级分数占比下降,高级占比上升,但还需要更具体的数据来确定学生的具体流向。

2.缺勤率的差异性变化

除测试成绩外,作者还尝试探索了学生日常出勤受食物补充供给的影响。

与MCT2测试成绩的回归模型稍有不同,作者在这里采用了Difference-in-Difference-in-Differences(DDD)方法进行估计。如前文所述,在测试成绩方面,可观测数据中只包含3-5年级的数据,与实验对象年级范围相同,因此实验组学校内部无法进行不同年级的对照。而在缺勤率方面,Mangrum收集到了3-5年级(treated grades) 和未做实验处理的K-2 年级(untreated grades) 数据,因此可加入第三重差异,不同年级间的对照。
根据推测,周末获取更多的营养应当使得学生在周一有更好的状态从而缺勤的可能性降低,而由于周五需要到校领取食物,当天出勤率也应当有所增加。

图7列出的估计结果与猜想一致。不论是非匹配加权还是匹配加权的结果都表明,实验组的学生表现出更低的缺勤率。同时,缺勤率下降最明显的是周五,缺勤率降低了20%至23%,且此结果在单边和双边检验下都在5%置信等级下显著。此外,星期一是实验组最经常缺课的日子,而营养干预可以将星期一和星期二的缺勤率降低约15%,仅次于周五。

小结

本文作者Mangrum运用了DID和DDD方法来估计营养的改善如何影响生活在美国食物最不安全地区——密西西比州的小学生。尽管对每名学生在餐食补充上的总支出相对较小,但测验分数和出勤率增长的估计值很高。实验组学校3-5年级的学生在语言艺术和数学上均具有较高的平均测验分数,语言艺术的平均分数的提高高于数学的分数,且该干预措施能够将该两所学校考试分数与州平均水平之间的差异缩小约70%。此外,作者发现实验组学生周五的出勤率较对照组有最大幅度的提升,学生在一般缺勤率最高的周一也表现出更好的出勤情况。
Mangrum的研究再次证实了充足的营养获取对学生表现及人力资本供给的重要性。同时,他从以往研究者未曾关注过的角度进行实验与推测,为政策制定者提供了一种低成本但收益颇丰的可行方案。按照每个食品包3.63美元进行估计,即使加上行政费用,在一学年内为学生提供周末餐食的费用很可能仍低于每人500美元,满足Kraft(2018)对“低成本/重大影响”的定义。正如作者所说,这项研究的有效性可能相对有限,没有粮食不足问题学生不太可能做出与缺乏营养学生相似的反应,因此他所建议的政策不一定广泛适用于美国其他州县。尽管如此,这项研究对于整个密西西比三角洲的政策制定具有建设性意义。

长按以上二维码即可阅读原文全文PDF,

如果暂时打不开,晚点就可以

关于DID相关文章

0.双重差分DID方法免费课程, 文章, 数据和代码全在这里, 优秀学人必须收藏学习!1.DID运用经典文献,强制性许可:来自对敌贸易法的证据2.连续DID经典文献, 土豆成就了旧世界的文明3.截面数据DID讲述, 截面做双重差分政策评估的范式4.RDD经典文献, RDD模型有效性稳健性检验5.事件研究法用于DID的经典文献"环境规制"论文数据和程序6.广义DID方法运用得非常经典的JHE文献7.DID的经典文献"强制许可"论文数据和do程序8.传销活动对经济发展影响, AER上截面数据分析经典文9.多期DID的经典文献big bad banks数据和do文件10.因果推断IV方法经典文献,究竟是制度还是人力资本促进了经济的发展?11.AER上因果关系确立, 敏感性检验, 异质性分析和跨数据使用经典文章12.第二篇因果推断经典,工作中断对工人随后生产效率的影响?13.密度经济学:来自柏林墙的自然实验, 最佳Econometrica论文,14.AER上以DID, DDD为识别策略的劳动和健康经济学,15.一个使用截面数据的政策评估方法, 也可以发AER,16.多期DID模型的经典文献,big bad banks讲解",17.多期DID的经典文献big bad banks数据和do文件,18.非线性DID, 双重变换模型CIC, 分位数DID,19.模糊(Fuzzy)DID是什么?如何用数据实现呢?20.多期DID的big bad banks中文翻译版本及各细节讲解,21.DID中行业/区域与时间趋势的交互项, 共同趋势检验, 动态政策效应检验等,22.截面数据DID操作程序指南, 一步一步教你做,23.DID的研究动态和政策评估中应用的文献综述,24.连续DID经典文献, 土豆成就了旧世界的文明,25.DID双重差分方法, 一些容易出错的地方,26.连续DID, DDD和比例DID, 不可观测选择偏差,27.加权DID, IPW-DID实证程序百科全书式的宝典,28.DID和DDD, 一个简明介绍, 双重和三重差分模型,29.DID过程中总结的地图展示技巧,30.DID的平行趋势假定检验程序和coefplot的其他用法,31.截面DID, 各种固定效应, 安慰剂检验, 置换检验, 其他外部冲击的处理,32.实践中双重差分法DID暗含的假设,33.过去三十年, RCT, DID, RDD, LE, ML, DSGE等方法的“高光时刻”路线图,34.计量院士首次用DID方法分析, 中国封城对新冠病毒扩散的影响!,35.截面DID, 各种固定效应, 安慰剂检验, 置换检验, 其他外部冲击的处理,36.诺奖夫妇的中国学生, “DID小公主”的成名之作, 茶叶价格与中国失踪女性之谜!,37.前沿: 反向DID, 反向双重差分法DDR全解析, 辅以实证示例!38.英诺丁汉大学校长为你讲解逐年PSM匹配-DID方法的操作, 并配上自己写的一篇范文!39.逐年PSM匹配后再DID识别因果的实证范文, 这就是逐年PSM-DID的操作范式!40.用事件研究法进行因果识别如何做? 有什么好处? 与DID结合起来潜力无穷!41.Abadie半参数双重差分DID估计量, 使你的平行趋势假设更加可信!42.弹性DID, DID的终极大法, 关于DID各方法总结太赞了!43.二重差分法分析(DID)44.比DID更加灵活的DDID政策效应评估方45.DID思路和操作,一篇相关实证文献46.二重差分法深度分析(DID),三重差分兼论47.面板数据的DID估计,透彻解读48.PSM-DID, DID, RDD, Stata程序百科全书式的宝典49.关于DID的所有解读, 资料, 程序, 数据, 文献和各种变形都在这里50.分位数DID, PSMDID, 政策前协变量平衡性检验操作步骤和案例51.PSM-DID, DID实证完整程序百科全书式的宝典52.逐年匹配的PSM-DID操作策略, 多时点panel政策评估利器53.广义DID, DID最大法宝, 无所不能的政策评估工具54.渐进DID专治各种渐进性政策的良药, 可试一试疗效55.双重差分DID的种类细分, 不得不看的20篇文章56.找不到IV, RD和DID该怎么办? 这有一种备选方法57.在教育领域使用IV, RDD, DID, PSM多吗? 使用具体References58.DID和IV操纵空间大吗? 一切皆为P-hacking59.第一篇中文DID实证论文长啥样? 60.世界上第一篇DID实证论文长啥样?61.关于双重差分法DID的32篇精选Articles专辑!62.空间双重差分法(spatial DID)最新实证papers合辑!63.空间DID双重差分方法的文献, spatial DID64.多期三重差分法和双重差分法的操作指南65.多期双重差分法,政策实施时间不同的处理方法66.三重差分法运行和示例,67.如何设计双重差分法DID: 各种政策研究的最佳指南! 68.利用DID和事件研究法的Top5文章, 分析最低工资对低薪工作的影响!69.推出输出表格, 滚动回归, 事件研究, asdoc, asreg,asrol, estudy代码和解析!70.中国拖拉机vs牲畜: 事件研究法用于政策评估和因果识别, 与DID结合起来威力无穷!71.事件研究法逐步附上程序code和对应的解释, 这还不懂那就真的没办法了!72.推荐用渐进(多期)DID和事件研究法开展政策评估的论文及其实现数据和代码!73.使用千年难得的IV+DID方法将中国故事写到了Top5, 设计之巧妙构思之缜密让人叹服不已!74.要想追赶上DID的最新发展, 你最好阅读一下下面这8篇文章! 75.多期DID中使用双向固定效应可能有问题! 又如何做平行趋势检验? 多期DID方法的最新进展如何?

下面这些短链接文章属于合集,可以收藏起来阅读,不然以后都找不到了。

2.5年,计量经济圈近1000篇不重类计量文章,

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle




数据系列空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 | 官员方言  | 微观数据 | 内部数据计量系列匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 200篇合辑 | 因果识别 | 社会网络 | 空间DID数据处理Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |

干货系列能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 | 名家经验


计量经济圈组织了一个计量社群,有如下特征:热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此,建议积极进取和有强烈研习激情的中青年学者到社群交流探讨,始终坚信优秀是通过感染优秀而互相成就彼此的。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存