查看原文
其他

Lasso回归操作指南, 数据, 程序和解读都有

机器学习研究小组 计量经济圈 2021-10-23


凡是搞计量经济的,都关注这个号了

箱:econometrics666@sina.cn

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

1.回归方法深度剖析(OLS, RIDGE, ENET, LASSO, SCAD, MCP, QR)

2.高维回归方法: Ridge, Lasso, Elastic Net用了吗

3.共线性、过度/不能识别问题的Solutions


LASSO 是 Robert Tibshirani 在1996年提出的一种压缩估计方法,全称Least Absolute Shrinkage and Selection Operator,它和岭回归很像,只是惩罚项有所变化。


其惩罚项可以写为:


可以看到,惩罚项由平方换成了绝对值。虽然绝对值是凸函数,函数在0点有唯一的最小值,但其在此点不可导。当某项的惩罚系数足够大时,那么它将无法进入模型(变量选择),只有那些回归系数非0的变量才会被选入模型。


与岭回归不同的是,LASSO 没有显式表达式,可以通过 LARS(Least Angle Regression)算法进行估计:


1. 设定初始值=0

2. 找到和响应变量 Y 相关性最大的预测变量

3. 在其与 Y 的相关性符号的方向上增大系数的值

4. 计算残差

5. 存在其他响应变量和残差的相关性大于等于和残差的相关性时停止

6. 增大直到存在其他响应变量和残差的相关性大于等于和残差的相关性

7. 重复以上步骤直到没有更多的变量被选入模型

Stata16新增功能有哪些? 满满干货拿走不谢

Stata 16中提供了Lasso回归系列程序,咱们圈子还没有系统地对其进行讲解。鉴于此,今天,咱们引荐给各位学者下面两篇文章:《Lasso回归在Stata中实现》和《高维模型中使用Lasso推断》。里面都是分步骤的Lasso使用流程,既有数据又有代码还有对回归结果的解释,因此很适合在需要时对照着理解学习。


第一篇文章《Lasso回归在Stata中实现的二维码如下,长按即可进入阅读页面,社群群友可以在社群下载参看。


第二篇文章《Lasso回归在Stata中实现》的二维码如下,长按即可进入阅读页面,社群群友可以在社群下载参看。

各位学者可以到社群探讨研习Machine learning在实证研究中的应用。

下面这些短链接文章属于合集,可以收藏起来阅读,不然以后都找不到了。

2年,计量经济圈公众号近1000篇文章,

Econometrics Circle

数据系列:空间矩阵 | 工企数据 | PM2.5 | 市场化指数 | CO2数据 |  夜间灯光 | 官员方言  | 微观数据 |

计量系列:匹配方法 | 内生性 | 工具变量 | DID | 面板数据 | 常用TOOL | 中介调节 | 时间序列 | RDD断点 | 合成控制 | 

数据处理:Stata | R | Python | 缺失值 | CHIP/ CHNS/CHARLS/CFPS/CGSS等 |


干货系列:能源环境 | 效率研究 | 空间计量 | 国际经贸 | 计量软件 | 商科研究 | 机器学习 | SSCI | CSSCI | SSCI查询 |

计量经济圈组织了一个计量社群,有如下特征:热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此,建议积极进取和有强烈研习激情的中青年学者到社群交流探讨,始终坚信优秀是通过感染优秀而互相成就彼此的。

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存