凡是搞计量经济的，都关注这个号了
稿件：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
1.机器学习之KNN分类算法介绍: Stata和R同步实现（附数据和代码），2.机器学习对经济学研究的影响研究进展综述，3.陈硕: 回顾与展望经济学研究中的机器学习，4.最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响! 5.Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！6.Top前沿: 农业和应用经济学中的机器学习, 其与计量经济学的比较, 不读不懂你就out了！7.前沿: 机器学习在金融和能源经济领域的应用分类总结，8.机器学习方法出现在AER, JPE, QJE等顶刊上了！9.机器学习第一书, 数据挖掘, 推理和预测，10.从线性回归到机器学习, 一张图帮你文献综述，11.11种与机器学习相关的多元变量分析方法汇总，12.机器学习和大数据计量经济学, 你必须阅读一下这篇，13.机器学习与Econometrics的书籍推荐, 值得拥有的经典，14.机器学习在微观计量的应用最新趋势: 大数据和因果推断，15.R语言函数最全总结, 机器学习从这里出发，16.机器学习在微观计量的应用最新趋势: 回归模型，17.机器学习对计量经济学的影响, AEA年会独家报道，18.回归、分类与聚类：三大方向剖解机器学习算法的优缺点（附Python和R实现），19.关于机器学习的领悟与反思，20.机器学习，可异于数理统计，21.前沿: 比特币, 多少罪恶假汝之手? 机器学习测算加密货币资助的非法活动金额! 22.利用机器学习进行实证资产定价, 金融投资的前沿科学技术! 23.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！
正文
关于下方文字内容，作者：王卓韬，对外经济贸易大学金融学院，通信邮箱：201941260@uibe.edu.cn
Markus Leippold，Qian Wang，Wenyu Zhou，2021, Machine learning in the Chinese stock market, Journal of Financial EconomicsWe add to the emerging literature on empirical asset pricing in the Chinese stock market by building and analyzing a comprehensive set of return prediction factors using various machine learning algorithms. Contrasting previous studies for the US market, liquidity emerges as the most important predictor, leading us to closely examine the impact of transaction costs. The retail investors’ dominating presence positively affects short-termpredictability, particularly for small stocks. Another feature that distinguishes the Chinese market from the US market is the high predictability of large stocks and state-owned enterprises over longer horizons. The out-of-sample performance remains economically significant after transaction costs.
一，摘要
本文利用各种机器学习算法建立和分析了一套全面的回归预测因子，从而增加了关于中国股票市场实证资产定价的新兴文献。与之前对美国市场的研究相比，流动性是最重要的预测因素，这促使作者密切研究交易成本的影响。散户投资者的主导地位会对短期可预测性产生积极影响，尤其是对小型股。中国市场与美国市场的另一个特点是大型股票和国有企业在长期内的较高可预测性。在交易成本发生后，样本外的性能仍然具有显著的经济意义。二，引言
在新冠疫情的影响下，随着中国经济加速复苏，中国股市的总市值以及成为继美股之后的第二大股票市场。中国股市的特殊性以及市场规模，吸引了不少的学术研究。作者确立了至少三个中国股市的关键特征以产生本文写作的目的。1）与由机构投资者主导的发达市场不同，中国股市主要由散户投资者主导。这种特性造成了剧烈的波动，可能会使股价与潜在的经济状况脱节。作者想要研究，在这样一个市场中，从集体主义投资行为中出现的技术指标是否比公司基本面对资产定价更重要。2）从制度的角度来看，中国金融体系的一个关键特征是，它是由中央控制、银行主导和独特的关系驱动的。国有企业在中国资本市场中的突出作用因它们的重要性和独特性值得不同的对待。因此，作者想要研究在政府信号发挥如此突出作用的国有企业的回报可预测性和投资组合表现是否会受到影响。3）中国市场的卖空历史有限。2010年之前，中国投资者面临着严格的卖空限制。2010年3月，中国证监会允许有限数量的经纪公司做空特别名单上的90只股票，这部分缓解了这些问题。在正式允许卖空再融资后，卖空交易的数量呈指数级增长，但在2015年后再次下降，尽管试点项目在2016年底扩大到950家公司。虽然大多数关于美国和欧洲市场因素投资的研究都依赖于长期做空策略，但这种策略对中国市场却不太现实。因此，作者也分析了从从业者的角度来看更相关的多头投资组合。作者共收集了1160个信号用于预测，其中包括90个来自股票水平的特征、11个宏观经济变量和一组行业虚拟变量。在第一步中，作者以与美国市场相同的方式构建了一组因素。在第二步中，作者遵循之前的研究，使这些美国因素适应中国股市。在第三步中，作者还包括进了一组由Pan等人引入的异常周转率(atr)中国特定的因素，旨在捕捉股市投机性交易的影响，这有助于解释中国a股的过高定价。由于中国市场的特殊性，作者的贡献建立在其他人的基础上，将广泛的机器学习方法与现代实证资产定价研究相结合，以了解股票回报的市场风险溢价的动态。同时，借助其他人开发的统计检验来分析模型的条件预测能力，使得能够比较机器学习方法在不同宏观经济环境下的性能。通过探索不同的机器学习方法的预测能力，作者发现神经网络在样本外R2方面明显优于其他方法。对于小公司和非国有公司的子样本，样本外的R2尤其大。此外，将样本外的R2与美国市场的研究进行比较，中国市场揭示了更多的可预测性。在所有的预测模型中，最相关的变量都是与市场流动性相关的股票特征。然而，第二组重要的预测因子与估值比率等基本因素有关。特别是，除了流动性，神经网络倾向于动量和波动因素而不是基本面。作者还发现，在每月预测范围内，样本外预测R2的可预测性弱于非国有企业，这证实了国有企业不透明的名声。最后，考虑到中国的卖空限制，作者想知道只有多头的指令能享受多少附加值。一个只有长期的投资组合可以提供实质性的，甚至包括交易成本，经济显著的表现。三，数据搜集
作者从中国最大的金融数据提供商Wind数据库中获得了在上海和深圳证券交易所上市的所有A股股票的每日和每月的总股票回报。相应的季度财务报表数据可以从CSMAR数据库下载。数据样本涵盖了从2000年1月到2020年6月交易的3900多只A股股票。此外，作者还获得了从CSMAR的中国1年期政府债券的收益率来代理无风险率，这是计算个人超额回报所必需的。基于Green（2017）等人列出的原始论文中的变量定义，建立了大量的股票水平下的预测特征集合和关于中国具体因素的论文。作者收集了共包括94个特征，其中86个已由Green（2017）等人记录，4个是以往研究中确定的有效的中国特定因素，4个是表示上市公司的所有权类型并用于子样本分析二元变量。为了避免异常值，作者对所有连续的股票水平特征逐周期进行横截面排序，并将它们映射到[−1,1]区间。在数据频率方面，股票水平级别的特征22个每月更新一次，51个每季度更新一次，6个每半年更新一次，15个每年更新一次。根据2012年中国证监会（中国证监会）发布的《上市公司行业分类指南》，纳入了80个行业虚拟变量。除上述特点外，作者还根据CSMAR和国家统计局网站下载的数据构建了11个宏观经济预测指标。其中8个变量基于Welch（2008）的变量定义，包括股息价格比率(dp)、股息支付率(de)、收益价格比率(ep)、账面市价(bm)、净股权扩张(n)、股票方差(svar)、期限差(tms)和通货膨胀(infl)。其余三个指标包括月营业额(mtr)、M2增长率(m2gr)和国际贸易额增长率(itgr)，这些指标在以前的研究中被确定为有效的宏观经济预测因素。四，实证研究
首先探讨了基于中国股市的11个宏观经济变量和94个股票特征的所有预测模型的变量重要性。对于特定模型，作者在每个训练样本中将给定预测器的所有值设置为零时，计算预测的减少，并将它们平均为每个预测器的单一重要性度量。表4报告了11个宏观经济变量的相对变量重要性。对于PLS来说，衡量发行活动水平的ntis具有最大的变量重要性。中国一直采用批准IPO系统自股市开放以来，众所周知，中国证券监督管理委员会经常暂停或减少IPO的数量，使ntis合理在预测月度回报中发挥重要作用。值得注意的是，ntis也是GBRT最重要的宏观经济变量，也是神经网络的第二个重要变量。此外，PLS还提出对infl、m2gr和itgr的大量权重，显示这些宏观经济变量也有影响。表4的结果表明，惩罚线性模型，包括LASSO和Enet在内的惩罚线性模型强烈倾向于总账面与市场比(bm)，但这对PLS和VASA不那么重要。此外，infl、ntis和m2gr等变量在LASSO和Enet中也具有很高的优先级。与其他模型不同，VASA更倾向于总收益价格比率(ep)，以及反映市场流动性(mtr)和波动率(svar)的变量。与其他基于回归的方法相比，树状模型GBRT和RF对宏观经济变量重要性的分布相对更均匀，说明这两种方法可以检测到宏观经济变量与样本特征之间潜在的复杂的非线性相互作用。在图1，作者汇总了每个宏观经济变量的变量重要性。总的来说，作者发现infl和ntis是预测中国股市每月回报的两个最有影响的宏观经济变量，尤其是对神经网络而言。另一方面，股息价格比(dp）、市场波动率(svar）、每股总收益(ep)、期限息差(tms)和市场流动性(mtr)不那么重要。
图2说明了基于合并的完整样本的所有特征的总体重要性。通过计算每个模型中每个预测因子的基于R2的变量重要性的秩之和，并将它们从最高到最低排序，沿纵轴的特征。这种排序反映了一个特征对所有模型的总体贡献。每一列对应一个预测模型，其中颜色梯度表示模型特定的重要性，从最重要到最不重要（最暗到最亮）。关于整体变量重要性的排序，作者发现与市场流动性相关的股票特征在预测中国股市时最为相关，即流动性波动率(std_dolvol和std_turn)、零交易日（zerotrade）和非流动性指标(ill)作为最显著的预测因素。第二个有影响力的群体包含基本信号和估值比率，如行业调整的资产周转变动（chaotia）、行业调整的员工变动（chempia）、总市场价值(mve)、近期收入增长次数(nincr)、行业调整的利润率变动（chpmia）和行业调整的账面对市场变动（bm_ia）。第三组包括风险指标，包括特殊收益率波动率（idiovol）、总收益率波动率（volatility）和市场波动率(beta)。异常周转率(atr)最初是由Pan（2015）等人引入的中国特异性因素捕捉普遍投机交易的影响，对机器学习模型也有影响。此外，Liu（2020）等人引入的趋势因素(er_trend)考虑到中国股市价格和成交量的持续趋势，具有第四大整体变量的重要性。值得注意的是，作者最初同时引入atr和er_trend，是为了适应中国股市上大量活跃的个人投资者对实证资产定价的影响。这些个人投资者更注重短期导向和投机交易，占总交易量的80%以上。先前的研究，如Pan（2015）等人和Liu（2020）等人证明了在因素模型中包含中国特定因素的重要性，而在这里作者提供了进一步的证据，表明这些因素在更复杂的机器学习模型中也具有相当大的解释能力。神经网络模型(NN1-NN5)、正则化线性模型(PLS、lasso、Enet)和VASA倾向于强调一组类似的库存水平预测因子。与此同时，基于树的模型GBRT和RF比其他预测模型更重视divo、rd和divi。作者推测，这种差异是由于树模型的一般属性，因为它们在构建决策树时随机选择了股票特征的一个子集。通过这种方式，像divo、rd和divi这样的预测因子可以在一些决策树中变得相当大的影响力，因此对整个树模型更加相关，而它们在所有其他模型中都扮演着次要的角色。从实践和理论的角度来看，作者也对变量重要性的时间变化很感兴趣。作者发现，正则化的线性模型，包括PLS、LASSO和Enet，共享一组相似的相关预测因子，其中流动性指标和基本信号是两组重要的预测因子。LASSO通常选择了大约20个相关的预测因子，而Enet选择了大约35个预测因子，这表明许多特征实际上是冗余的。PLS的变量重要性只有很小的时间变化，相比之下，LASSO和Enet选择的预测因子中只有大约三分之二在不同时期是稳定的。值得注意的是，特别是对于LASSO而言，2015年前后之间似乎存在差异重要性差距，表明股市发生了结构性变化。最后，神经网络模型（NN1-NN5）支持流动性变量、基本信号、估值比率和中国特定因素，包括异常周转率(atr)、趋势因素（er_trend）和前10名股东所有权（top10holderrate）。与其他模型相比，神经网络在可变重要性上有更大的时间变化，这表明它们可以检测和解释不同预测因子预测能力的结构断裂。作者将这一发现归因于神经网络模型的灵活性和适应性，特别是当它们经过足够数量的数据的微调和充分训练时。
使用样本外进行模型选择在实践中可能不是很好，因为一些预测模型可以接近样本外，但在实际中性能非常不同。例如，在表1中，GBRT模型的总体样本外r2略大于NN4。作为另一种模型选择方法，作者首先使用了Hansen（2005）的无条件优越预测能力(USPA)检验。然而，在作者的分析中，作者注意到Hansen（2005）测试本身仍然不能区分一些预测模型的性能，Gu（2020）等人使用的迪堡和马里亚诺（1995）测试也是如此。为了解决这个问题，作者使用Li（2020）等人的条件优越预测能力(CSPA)检验进一步研究了模型的条件预测能力。这使作者能够比较机器学习方法在不同宏观经济环境下的性能。表5报告了在USPA和CSPA测试下对给定模型的拒绝次数。USPA测试结果表明，OLS模型和改进的OLS-3模型表现较差，总拒绝次数最多。GBRT、RF、NN3、NN4和NN5模型的无条件预测性能均优于它们的替代方案，但USPA测试未能区分它们的性能。因此，作者也比较了CSPA的测试结果。作者观察到NN1、NN4和NN5的CSPA测试拒绝总数最小。尽管包括RF和GBRT在内的树状模型也表现良好，但在市场水平的股票方差条件下，它们的一对一比较会被拒绝，而NN4和NN5可以在相同的比较中存活下来。此外，NN4和NN5在大多数宏观经济条件下表现非常良好。因此，CSPA测试使作者能够更全面地区分VASA、NN2和正则化线性模型的预测性能，提供统计证据，表明这些模型不如NN4和NN5的统计证据。
先前的分析表明，神经网络在可预测性方面似乎优于其他模型。这些算法经常被提到的缺点是缺乏可解释性。然而，作为一种理智的检查和提供一些关于哪些变量导致了相当大的可预测性的直觉，作者更深入地研究了预测性能的驱动因素。为此，作者关注NN4模型产生的小型和大型股票的月和年R2值的显著差异，稍后作者将使用这个神经网络进行投资组合分析。在接下来的讨论中，作者将重点关注小型股票和大型股票。类似的参数将适用于其他子类别之间的差异。作者利用NN4绘制了20个最重要变量的差异，以预测月度水平上的前70%和底部30%的股票。当作者从大型股转向小型股时，三个最重要的变量不会改变顺序：（1）chempia，经行业调整后的员工数量变化，代表行业调整后的员工变动；（2）std_dolvol衡量日交易量的标准差，作为流动性的指标；（3）atr是针对中国的流动性因素。atr将投机性交易与流动性和其他交易量成分隔离开来。因此，它表现良好，因为个人投资者贡献了总交易量的大部分。虽然这三个变量对大型和小型公司都同样重要，但是他们在这两组中的影响每年下降。虽然前三个变量同样重要，但对大多数其他变量的相对重要性都发生了变化。特别是，作者发现zerotrade和std_turnorver等流动性相关变量对小型股获得的权重更大，而基本变量如cash、nincr、bm_ia和orgcap获得的权重更少。除流动性相关变量外，volatility、idiovol、max_ret等波动性相关变量以及中国特定趋势变量er_trend更为重要。接下来作者将讨论后一个变量。首先，由于idiovol是小型股更重要的更重要的预测指标，作者的研究结果支持了有限套利理论，该理论假设高风险股票的异常情况变得更强，从而提高整体可预测性。其次，max_ret也发挥了更为突出的作用，这一事实证实了作者的猜想，即散户投资者会显著影响小型股的价格动态。最后，Liu（2020）等人表明，他们的中国特定趋势因子(er_trend)效果良好，因为它反映了以噪音交易者需求的波动性来衡量市场情绪，而这种效应是由散户投资者在中国市场的主导地位来实现的。作者的NN4模型强调了这一中国特定趋势因素对小型股月度预测的重要性。投机效应往往会在更长的范围内消失。从月度到年度预测期，作者发现流动性和势头失去了重要性，有利于所有权、增长和杠杆。规模类别对小企业来说似乎变得更加重要。为了提供关于相对差异的进一步见解，作者只发现了C_bpr和C_size的一些差异。这一发现与小型股票和大型股票的R2值的微小差异产生了很好的共鸣。总的来说，神经网络NN4对不同的公司特征及其类别的重要性与作者的直觉很吻合。此外，它还有助于作者将小型股票和大型股票的可预测性之间的差异合理化。然而，与美国股市相比，中国股市的整体可预测性似乎仍然相当可观。中国市场的整体可预测性可能是由于卖空限制，这是中国市场的一个普遍特征。特别是当散户投资者占主导地位时，与其他市场相比，这些限制可能会进一步加强可预测性和潜在的过高定价。作者考虑了两种类型的机器学习投资组合。第一个是多空投资组合，这是作者按照Gu（2020）等人的方案构建的。更准确地说，在每个月底，每种方法都会产生提前一个月的样本外股票回报。然后，作者根据预测的收益将股票分类为十分位数，并每月使用价值权重重组投资组合。因此，作者通过购买预期回报最高的股票和卖出最低的股票来构建一个零净投资组合。虽然长-短投资组合是评估机器学习方法投资组合水平性能的有用工具，但它很难在中国股市中实现，股市由于严格的卖空限制。因此，作者也包括了只持有多头的投资组合，它只持有前十分之一的股票。表6报告了价值加权的长空头和仅多头投资组合的样本外表现。为了便于比较，作者还报告了所有股票权重相同的1/n-投资组合的表现。在平均预期月回报、夏普比率和其他指标方面，所有的机器学习投资组合都主导了OLS-3投资组合和1/n-投资组合。总的来说，研究结果清楚地表明，机器学习技术，特别是神经网络模型，有利于投资组合水平的预测。对于多空组合，作者在中国股市获得的夏普比率明显高于Gu（2020）等人发现的美国市场。例如，NN3在中国市场上得出的最高夏普比(SR=3.45)是NN4产生的最佳夏普比(SR=1.35)的两倍多。如上所述，由于交易限制，多空策略几乎不可行，因此作者在解释这些结果时非常谨慎。与此同时，仅做多投资组合的夏普比率最高为1.76，仍高于美国市场的做多做空策略。鉴于这一高水平，在更现实的假设下评估仅长期投资组合的表现是至关重要的。
作为稳健性检查，作者基于前70%的子样本重复之前的投资组合分析。造成这种做法有三个主要原因。首先，小型股在中国股市以其较高的价格波动性而闻名，这使得投资者很难找到合适的买入点。其次，如Liu（2019）等人所记录的那样，中国底部30%的股票经常遭受因中国的IPO限制而产生的所谓的壳价值问题。第三，总体而言，大型股票的流动性水平较高，价格波动性较低，因此受中国10%日限价的影响较小。表7报告了这些结果。基于前70%的大型股票的机器学习投资组合的表现在定性上与完整的样本相似。然而，所有的投资组合都能获得较低的平均月回报率、夏普比率、标准差和极端负的月回报率，因为小型股被排除在外。然而，机器学习方法仍然在简单的OLS-3模型和1/N组合中占据主导地位，神经网络表现最好，其次是正则化的线性模型和树模型。因此，这些结果证实了机器学习方法在中国股市上也具有出色的投资组合级预测能力。政治联系可能会通过各种渠道促进国有企业的业绩，例如，更容易获得银行贷款、宽松的监管和减轻税收。与此同时，国有企业的高度集中的国家所有权、它们的财务不透明度和低信息量的股价，以及它们缺乏公司治理机制，都可能会加剧这些公司的崩溃风险。在表8中，作者报告了长-短和只长投资组合的结果。鉴于国有企业大多是大公司，作者比较了表8中的结果和表7中的结果。首先，就夏普比率而言，长-做空策略的表现远远高于排名前70%的股票，尤其是神经网络股票。对于NN5，作者得到的夏普比率为4.12，而排名前70%的股票的夏普比率为2.70。对于只有多头的投资组合，作者注意到1/N的投资组合确实表明国有企业股票的下跌风险大于前70%的股票（也包括国有企业）。然而，利用国有企业回报的可预测性，作者可以将只多头策略的最大减持减少到大大低于最大70%股票的水平。与此同时，长期国有企业投资组合的夏普比率也更高。因此，使用适当的预测算法，作者可以减轻以往研究的担忧，即国有企业会产生更大的崩溃风险暴露。
为了评估投资组合表现的经济意义，作者最终必须将交易成本纳入分析。对于中国市场，a股交易的成本主要由三个部分组成：佣金、印花税和下滑。与佣金和印花税相比，下滑需要更仔细的调查，因为在不影响流动性问题的情况下，通常很难以预先设定的价格执行所有交易。在中国股市，2012年机构投资者的佣金在5bps左右，然后迅速下降。近年来，散户投资者的佣金通常为2-3bps，机构投资者的佣金甚至更低。自2008年以来，印花税设定为10bps，单方面从卖家征收。
作者考虑了两种交易方案来量化滑移的规模。第一个价格依赖于给定月第一个交易日前30分钟的时间加权平均价格(TWAP)，因为作者假设订单被平均分配，并在每分钟开始时实施。因此，滑移是TWAP和开放价格之间的相对差异。同样，第二个是估计了成交量加权平均价格(VWAP)，作者根据20天移动均线计算每分钟间隔的交易量，并与预测交易量成比例执行订单。此外，作者通过计算交易股票交易量的5%来提供市场能力的粗略估计。表9报告了TWAP、VWAP和市场能力的一些相关汇总统计数据。平均而言，TWAP和VWAP与开盘价格的总偏差约为10bps。在一些罕见的情况下，如2015年中国股市动荡，随着股市开盘后迅速上涨或下跌，下滑的幅度可能会相当大。然而，在这种情况下，买卖下滑的迹象可能是相同的，这可能在一定程度上减少投资者面临的实际下滑。事后计算表明，25bps可能是对正常时期中国股票市场交易成本的合理估计。然而，考虑到在某些极端情况下，滑移量可能高于10bps。
每日限价规则被广泛应用于世界各地的证券交易所，特别是在新兴市场。中国市场对在主板和二线上市的常规股票的每日定价限制为10%（自2020年8月以来在第二盘上市的股票为20%），对特殊待遇(ST)股票为5%，对在科技创新板上市的股票为20%。鉴于作者的预测范围是一个月的远期回报，而不是日回报，作者推测，作者的主要结果只会受到价格限制规则的轻微影响。为了探讨其对投资组合表现的影响，作者继续进行如下操作。在每个再平衡日，作者不包括在买入目标价格上限下收盘的股票，并将卖出目标推迟到价格不在较低水平的日期。表11报告了仅限多头投资的投资组合的结果。事实上，作者发现回报和夏普比率仍然很高。例如，对于NN4，夏普比从1.78下降到1.70。因此，总的来说，作者的结果仍然符合包含价格限制规则。
五，结论
作者研究了几种机器学习方法在中国股市上的预测能力。作者发现，最关键的因素是基于流动性的交易信号。基于价格势头的信号只起到了次要作用。一个股票市场需要数年时间才能发展出允许和鼓励根本性投资的品质。中国股市正朝着这个方向发展，但作者的研究结果表明，基本因素是第二大最关键的因素类别。作者还发现，散户投资者的短期主义在短期投资领域产生了实质性的可预测性，特别是对小型股。同时，由于政府信号在中国市场中发挥着如此重要的作用，作者观察到国有企业在较长期内的可预测性大幅提高。作者的投资组合分析表明，短期内的高可预测性转化为长空投资组合的高夏普比率。特别是，神经网络和VASA在2015年中国股市崩盘期间也提供了强劲的表现。然而，在中国市场上卖空股票并不重要。
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。