【信号与噪声】：你以为重要是信息，其实你缺的是知识
从夜观天象到气象预报，从童话里的水晶球到今日的科技预言家，从地震云的传说再到科学家猛攻的地震预测，人类一直希望能够更早突破局限、看穿未来。而这一切，到今天都可以变为现实，而其变为现实的依托，就是无穷无尽的大数据。
每次上课至少读一本好书，财富学堂导师荐书至今，已经为众多学员客户分享了数十本在行业内广为流传的专业好书。今天，老师们推荐的是一本关于“数据与预测”的书——《信号与噪声》。本书旨在回答一个问题：如何浩如烟海的数据中排除噪声寻找真正的信号。
来源 | 冯浩洋、陆光（财富学堂13期学员）财富学堂【风险管理与资产配置组合】模块
章嘉玉（Frances）老师
推荐好书《信号与噪声》
在财富学堂13期，章嘉玉老师为大家带来这本书。
「信息越多,越靠近真相」——真是这样吗?《信号与噪声》这本书可以给你想要的答案。
从全球经济的健康到战胜恐怖主义，都依靠预测的质量。成功的预测可以为社会或者个人带来巨大的收益，但十分困难；而失败的预测则有可能带来巨大的损失。
特别感谢财富学堂学员，诺亚客户的真诚分享，他们从作为投资者角度的真实分享，让我们真正明白并不是信息越多，预测就越成功。其实，信息越多，噪声越多，就如同经济学中的边际效应递减一样。
《信号与噪声》是一本“有意思”的书。本书以大量的案例讲述了成功与失败的预测的经验，从政治选举到棒球比赛，从地震预测到经济预测，从国际象棋到股票市场，对于任何学习、工作背景的读者都有启发意义。
作者介绍：纳特·西尔弗，统计学家、作家和《纽约时报》政治性网站的创始人。2008年美国大选期间他成功预测出49个州的选举结果，2012年大选期间更是成功预测出全部50个州的选举结果，被称为“神奇小子”。2009年，《时代》周刊将他评选为全球100位最具影响力的人物之一。
● 天气预报说降水概率为60%，你出门会带伞吗？
● 被雷击中的概率到底有多大？
● 地震发生之前，我们真的无法预测吗？
● 中情局为什么会忽略“9·11”恐怖袭击发生的信号？
● 为什么大数据时代的预测更容易失败？
在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。
一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。
“9·11”恐怖袭击事件、2008年金融危机、2011年日本大地震，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。
本次分享的图书内容涵盖了信息技术和科学进步，也包括了自由市场、商业竞争以及观念革新。 书中还罗列了人类所犯的一些错误，描述了我们如何一步一步地学习认识客观世界。
人类最初的信息技术革命并非始于微型芯片的发明，而是以印刷机的诞生为开端的。1440年，约翰内斯·古腾堡发明了印刷机，这项发明使普通民众能方便地了解信息，由此产生的思想洪流带来了前所未有的结果和影响。
印刷机的诞生：信息传播变得廉价，知识得以快速积累
蒸汽机的诞生：工业革命
互联网的诞生：信息获取的革命
知识匮乏期
早在印刷机发明之前，书籍就已经存在了。然而因为：
1. 复制一份原稿的费用极其昂贵（每5页就需要大约200美元），使书成为了贵族阶层的奢侈品；
2. 抄写中难免有错误，代代相传甚至演变成与原意相反的错误。
所以，这就使得知识的积累变得极其困难。要想阻止以文字记录的知识不断减少，就需要付出巨大的努力，因为书籍腐烂的速度远远大于其生成的速度。
印刷机的出现永久而深刻地改变了这一状况。几乎一夜之间，书的成本骤降近300倍。
人类知识旋即进入快速积累期。
同时随着印刷机出现的是：信息不再稀有，甚至多到无从下手，但知识上的缺乏使得我们对有效信息的获取依旧远远不够。
我们以为自己需要信息，但其实我们真正需要的是知识。
在信息时代我们面临的一个重大挑战，就是全球的知识总量在增加，而我们实际掌握的知识和自认为掌握的知识之间的鸿沟却越来越宽。
概率式思考方法
现在的天气预报是以概率的方法预测问题，是最为典型也是相对最成功的案例。
科学家有意加入微小的变化以代表观测数据内在的不确定性，这样就可以将一个必然性的预报变成了或然性的。
比如，当地气象预报员说，明天有40%的概率会下雨，意思是说，在他的模拟操作中，有40%的概率会下雨，有60%的概率不会下雨。
这往往是因为适用混沌理论的系统，常有以下两个特性：
1.该系统是动态的，这就意味着当前某一个时间点发生的动作会影响未来的动作。
2.该系统是非线性的，这就意味着其会呈指数型增长而非加法累积。
天气预报已经足以成为我们安排生活的指南。但是，在半个世纪之前，这一切都是不可想象的。
只有在引入了超大型计算机之后，气象学家们才有可能模拟出大气中每一个分子的运动轨迹，设计出预测下一步风云变幻的模型。（但是由于那只没事乱扇翅膀的蝴蝶，有时候失之毫厘依然可能谬之千里）
70年代气象卫星上天之后，人们可以24小时无死角监控云聚云散、洋流涌动、气温起伏，预测准确度进一步提高。
气象预测给人印象最深刻的进步大概就是飓风预测了，25年前，美国国家飓风中心提前 3 天预测飓风登陆的位置时，平均误差将近 563 公里，对于人类来说，这种预测毫无意义。而现在的平均误差只有约 161 公里。
技术进步固然居功甚伟，但是为什么只在气象预报领域单兵突进呢？首先，预测的前提是对所预测对象的了解，了解程度越深，预测也就越容易接近事实。
几千年来仰头观天，数十年来卫星俯瞰，人们自内而外已经积累了足够多的气象学知识，风雨雷电的发生原理已经成为人人皆知的常识。
而且，每一次气象预测都能很快收到反馈，根据结果修正预测方法，在这样日复一日的过程中，精度也在不断地提高。但是这显然不能用在其他地方，比如地震预报。有人常常质问"地震预测为什么不能像天气预报一样准"，其实我们至今对于地壳活动的了解可能还不如月球。
信号与噪声
信息越来越多，但有用信息的获取却越来越艰难。
在这之间，噪声扮演了一个非常重要的角色。
因为自身知识的缺乏+对数据模型认识的不够深刻，经常会混淆信号与噪声，包括但不限于：
1.噪声误认为信号，过度拟合
过于精确的追求模型的数据拟合度，往往造成过度拟合，将干扰的噪声误认为有用的信号，这将带来数据预测的偏差。因此建立预测模型并不是越复杂越好。
2.相关误认为因果
真正具有预测性的变量几乎不存在，想要弄明白哪些是因果关系，哪些属于相关性，是很困难的。
反应在经济学上，就是以下的结果：
尽管经济学家对于控制经济运行的基本体系有着相当正确的理解，然而，经济运行中各种情况的因果关系仍然模糊不清，在经济泡沫期和经济恐慌期时尤其如此，因为此时的经济系统中充斥着人为因素决定的反馈环。
3.低质量的原始数据
这一步往很重要，因为清洗质量的高低直接决定了数据中真正的信号比例大小及其后续处理。
4.忽视无法定量分析的因素
书中便以两种针对美国选举的预测专家(狐狸型和刺猬型)进行举例说明。
狐狸型专家：针对不同类型信息进行总体权衡，结合定性分析和定量分析；
刺猬型专家：接收各种类型信息，并借助这些信息强化他们的偏见。
政治选举预测中, 提到狐狸型专家与刺猬型专家思维方式的不同, 狐狸型专家是较好的预测家, 他汇集不同学科思想, 适应力强, 并愿意承认预测错误, 承认思维判断的局限性, 并用概率来预测结论, 强调依靠更多观察而非理论的经验主义。
这与目前以AI处理更多"大数据", 分析推理进而预测市场, 并时时修正参数相关性 (等同狐狸型专家承认预测错误并修正预测, 就交易而言, 等同及时修正看法, 及时停损), 实有异曲同工之处。
在天气预测中提到： 预测者的任务, 是尽可能做出准确预测, 但对我们做投资（交易员）而言, 只要有可能造成（金融）海啸情况的机率, 都应该要及时出场或者停损。
5.其他因素
包括政治、个人荣誉或经济利益，都容易影响预测。
不论是何种因素的预测，都提到同一件事：专家的过度自信, 不可避免的偏向性预测, 所带来的风险。
预测：频率学派VS贝叶斯学派
从本质上看，“频率主义”解决统计学问题的方法是极力摆脱使预测出错的最常见原因，即人为错误。
“频率主义”认为不确定性是实验本身所固有的特质，而非我们认识真实世界的能力中所固有的特质。
“频率主义”的方法还意味着，你收集的数据越多，所犯的错误最终就会越趋近于零：这是解决所有问题的充分必要条件。
频率学派的问题：
不论在理论上还是实践中，“频率主义”的方法都不是很客观，要依赖大量的假设。
种种方法总是假定，某一个测量方法中潜在的不确定性遵循贝尔曲线或正态分布，这是正确的假设，却不适用于股票市场。
更大的问题是，在力求设计完美无瑕的统计程序时，不能受研究者个人偏见的干扰，这就使得“频率主义”的方法总是与真实世界相隔离。
这样的方法让研究者忽略了假设的基本环境和合理性，而这正是计算贝叶斯先验概率所必需的。
实际上，按照经验来看，所有人都有各自的信仰和偏见，这种信仰和偏见是由个人的阅历、价值观、知识涵养、政治立场或专业背景等因素凝聚而成。
贝叶斯学派的优势：
贝叶斯预测承认每个人都存在偏见(先验概率和后验概率)，同时也承认第一次用概率的方法处理时可能不会特别准确，但是，其好处在于通过不断获取新信息，可以来更新和修正自己的预测。
贝叶斯定理明确地承认人们固有的观念会影响对新证据的理解，还生动地描述了人们对于世界的变化做出的反应，这是贝叶斯定理的一大优点。
实际上，贝叶斯定理并不干涉个人信仰，在这一理论的支持下，没有什么可以阻止你将自己认为绝对正确的事物作为自己的信仰。
如果你认为上帝百分之百存在，或者上帝根本就不存在，在贝叶斯定理下，所有的证据都不会劝你改变观点。
根据贝叶斯定理，只有正确的预测才能让我们更接近真相。预测基本上属于信息处理活动，即用新数据检测关于客观世界的假设，目的是为了更加真实、准确地理解世界。
人类处理信息是有限的
大脑在处理信息时使用的是近似法。
与其说这是一种既成事实，不如说它是一种生物必要性：
我们察觉到的信息远多于我们有意识进行思考的信息，我们处理信息的方式是按照规律和模式对它们进行分类。
当一个问题的确定性解决方案超出了我们的实际能力时，我们就会采取依据经验法则的启发法解决问题。
也就是说，尽管人类处理信息能力是有限的，我们还是可以依靠启发式方法来实现预测，试错的方法来提升预测以便制定最佳决策。
预测时，我们需要在好奇和怀疑之间寻求平衡。这两者是可以相互协调与融合的。
我们越是渴望检验自己的假设，就越愿意承认我们关于世界的知识存在很多不确定，越愿意承认不可能做出完美的预测，越不会陷入失败的恐慌中，也会有更多的自由让思维驰骋。
对自己不了解的事物作进一步的了解，我们也许就能做出更多准确的预测。
总结
《信号与噪声》这本关于预测学的书，涉及了很多术语，预测学又是涉及很多内容的交叉学科。
说实话，读起来真的是有些费力。但是，从这本书里一个个有趣的信息当中，我们可以明白大量的道理。这些道理既能运用于日常生活（地震是不可预测的，任何宣传地震可测的说法都是谬论），也能运用于工作之中。
希望大家有机会读一读，也许会对你在规划未来时有所帮助，可以做到避免目光短浅，从而更有远见。
荐书 | 看了《低风险，高回报》，我明白了大多数人亏损的真相
想成为和他们一样专业的投资者
聆听行业导师的专业分享
和圈中好友真实交流
从课堂到生活中
化信息为知识，化知识为工具
真正守卫自己的人生财富
加入以诺教育财富学堂吧
八大模块，一年制学习体系
四大基础模块终身免费复训制
系统化建立属于您的投资哲学
15期一模块开课时间：7月10-13日
点击下方进入快速报名通道。
【报名咨询】
以诺专线：400-820-0025-3
（早8:00-晚20:00）
诺亚会员请联系您的专属理财师
【报名咨询】
更多以诺课程，请在以诺后台回复以下关键词获得最新课程信息：
财富学堂 | 公开市场 | PE | 资产保全 | 音乐营 | 商业营 | 斯坦福 | MIT | 寻美 | 以诺动力 | 肯尼亚等