【读书会】《信号与噪声》

生活节奏越来越快，身处在信息爆炸的大数据时代，我们所要做出的预测的速度和数量都在不断增加。我们每天都在强调现在是一个大数据时代，我们可以通过数据来预测未来。然而，一个不容忽视的事实是，现实世界中的很多预测都失败了，人们由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。

《信号与噪音》作者纳特•西尔弗被视为美国最具影响力的预测专家之一，他在本书中检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，就是告诉我们如何才能从繁杂的海量数据中筛选出真正的信号，从而做出接近真相的预测？

作者并不打算，也不可能为各种预测提供方法，他更喜欢带读者游历预测这件事本身。预测的可能是一项国家政策，例如书中写到，福特总统对于流感疫情危险的高估，促成了一系列糟糕的疫苗接种计划，花费巨额资金，还导致了接种者不幸死亡。而金融市场的预测失败则带来了更为严重的后果。几个联邦评级机构对于房地产次级贷和衍生品的评级不负责任的宽松，直接导致了2008年金融危机。而这些机构对风险的预测，要不牵扯了自身的利益，要不就使用了错误的数学模型。

一个重要的问题呗提出来：信号会被噪声淹没吗？作者指出，信息越来越多，但有用信息的获取却越来越艰难。在这之间，噪声扮演了一个非常重要的角色。因为自身知识的缺乏+对数据模型认识的不够深刻，经常会混淆信号与噪声。首先，噪声误认为信号，过度拟合。过于精确的追求模型的数据拟合度，往往造成过度拟合，将干扰的噪声误认为有用的信号，这将带来数据预测的偏差。因此建立预测模型并不是越复杂越好。其次，相关误认为因果。真正具有预测性的变量几乎不存在，想要弄明白哪些是因果关系，哪些属于相关性，是很困难的。表现在经济活动上，就是尽管经济学家对于控制经济运行的基本体系有着相当正确的理解，然而，经济运行中各种情况的因果关系仍然模糊不清，在经济泡沫期和经济恐慌期时尤其如此，因为此时的经济系统中充斥着人为因素决定的反馈环。

作者总结道：人类诞生之初，知识传播成本高，导致知识的匮乏期，随后印刷机、工业革命、互联网的发明，使得知识传播的成本急剧下降，获取的信息也急剧上升。可是信息的指数级增加并没有显著提升其中的信号比例，也就是有效的信息。作者把原因归结为，全面了解世界已经超出人类的能力范围。有限的信息处理能力使得人类进行预测时碰到各种各样的问题，我们还是需要更多的提升自己的知识。引用作者原话“我们以为自己需要信息，但其实我们真正需要的是知识。”

没有理由认为人类活动越来越可预测，同样也没有理由认为人类活动越来越不可预测。科学使得社会变得明朗，但科学同样也使得社会组织变得更加复杂。技术完全改变了人们彼此之间的联系。大量的信息成倍增加，但有用的信息却非常有限，信号的比例正在缩小，我们需要找到更好的方法对信号和噪声进行区分。预测时，我们需要在好奇和怀疑之间寻求平衡。这两者是可以相互协调与融合的。我们越是渴望检验自己的假设，就越愿意承认我们关于世界的知识存在很多不确定，越愿意承认不可能做出完美的预测，越不会陷入失败的恐慌中，也会有更多的自由让思维驰骋。对自己不了解的事物作进一步的了解，我们也许就能做出更多准确的预测。

全书围绕“如何做出正确的预测”展开，其中对数据处理的思考对我非常有启发。运用数据的技术能力增长的同时，不要忽然技术发展带来信息中更多的噪音，既不要迷恋数据，更不要依赖于数据。作者认为预测的困难来自于测量，而测量可以分为易观察的、不易观察的，前者受人的主观性影响较小，而后者的测量更多的要依靠人的想象力和创造力。但是预测成功的关键在于有没有承认人的无知，而不是对自己所采用的模型和方法的科学性、客观性过于自信。对工具本身过于自信，就不容易识别出噪音，从而失去正确的预测信号；而只有承认自己的无知，下结论时遵循贝叶斯式的概率思维，才能时刻警惕噪音的存在，发现真正的信号。

所以，预测是一门必要但是危险丛生的艺术。运用自身能力观察世界时应保持谦逊，对待别人的断言应心存怀疑。