《The Signal and the Noise》是一本由Nate Silver著作,Penguin Press HC, The出版的Hardcover图书,本书定价:USD 27.95,页数:544,特精心从网络上整理的一些读者的读后感,希望对大家能有帮助。
《The Signal and the Noise》精选点评:
●对于数据分析、预测,特别是贝叶斯定律有很好的描述,值得一读。
●也只能参考了,一本废话不着重点
●作者年轻有为机会大大的有,请关注这个叫内特银的人
●围绕Bayes' theorem展开的各类概率问题,只有扑克那章有点意思。
●文中介绍的贝叶斯理论在实际中的应用还蛮有意思的,不过估计先验概率及发生后的条件概率总有subjective的缺陷。
●内容和概念还吸引人,但篇幅过于冗长,不够精简(有用相关的文字大概一半左右)。
●开头还可以,作为科普读物读一下。
●:O212.5/S587
●普及数据intuition真的是良心事业。
●Boring and Bayesians. Meh.
《The Signal and the Noise》读后感(一):The Law of Prediction
预测,是人类一直在重复的一种实践。中国有殷人尚鬼,大巫师们通过萨满教习俗,和神灵交流,预测祸福。文明伊始,我们就开始探索未知的未来。几千年试验下来,我们预测未来的能力是否越来越强呢?恐怕答案不容乐观。
ate Silver 作为统计学家,因精准预测08年和12年美国总统大选为人所知,早年对棒球比赛的研究也饱受赞誉。The Signal and the Noise 回顾了他在职业生涯中的体会,以及对于预测的理解。总体而言,Nate 的预测方法是学术性的,建立于统计学基础上的。核心理念概括一句话,就是要谨慎区分数据分析中的信号和噪声。尤其是在我们的年代,数据增多,信息增多,预测的结果却越来越不准确,原因就在于我们对数据不加区分的使用。
书中罗列了很多现实生活中出现的预测案例,比如我们对天气的预测,对地震的预测,对经济危机的预测,等等。比较成功的案例就是我们的天气预报。这要归功于电脑计算速度的飞速发展,以及气象学家对大气活动的深入了解。而对于其它领域的预测进展仍旧缓慢。
书中 Nate 进行的反思还是很发人深省的,首先是 Nate 给出的预测原则,一是要有概率性的思维方式,不是 “我预测明天会下雨”, 而是 “明天有70%的概率会下雨”;二是要不断改进预测的模型,每一次预测的结果,都是改进模型的开始,都是对数据进行分析的开始,不要太执着于最初的预测,一切都会随时改变。
其次是 Nate 对于人类预测的建议,在区分 Signal 和 Noise 时,我们不可能绝对的客观,即使是最严谨的研究者也有自己的倾向。这就要求我们时时学会脱离开自己所处的环境,以旁观的角度去看待问题。这一点对人类学,社会学研究者十分重要,对于其它学科也是如此。
不过于自信,自负,永远等待变化的产生,但是也要有对真理的坚持。日本金融泡沫前有一位经济学家一直预测房地产市场即将崩盘,一时传为业界笑柄,最后他自己也开始动摇,在最高位买下了东京的房产,随即就迎来了金融海啸,血本无归。还好他后来成为了央行行长。
《The Signal and the Noise》读后感(二):Nate Silver的霸气大作
在奥巴马成功连任总统之前,美国几乎所有重要的刊物和评论员都认为,奥巴马和罗姆尼在伯仲之间,各有五成的胜算。此时,《纽约时报》FiveThirtyEight博客的作家Nate Silver却给出了不同的答案:Silver一直坚持奥巴马的胜算在七成左右。
ilver的这一论点让其他评论员对其群起而攻,但最后的事实证明,奥巴马赢得几乎是毫无悬念。事实上, 2012年大选并非Silver第一次成功预测选举。在2008年Silver除了成功预测奥巴马获选(预测对了50州选举结果中的49个),另外还预测对了全部的参议员选举结果。在那之前,Silver在预测棒球、德州扑克方面也颇有建树。
在选举后大热的Silver趁热打铁,推出了《The Signal and the Noise》一书,向大众普及预测的技巧。
总体而言,《The Signal and the Noise》的13个章节可以分为两类:人类的“劣根性”和预测的技巧。关于人类的“劣根性”的细节注重介绍了一般人在预判未来时常犯的错误。
比如,大多数预判选举的评论员并不会像Silver一样,一点点去分析数据。这些人要么会依赖自己的偏见(比如共和党的评论员会找出各种证据、证明罗姆尼可能会赢得选举),要么会人云亦云(如果大家都说选举很接近,那么选举一定很接近)、要么会刻意独树一帜(如果大家都认为奥巴马会赢,那么猜测罗姆尼会赢的人会获得更多关注)。另外,评论员本身的利益驱动也使得他们更愿意相信选举很接近(只有在选举还有悬念的情况下,大众才会不断看政治新闻)。
在介绍预测技巧的章节,Silver着重介绍了诸多关键的概念。比如在介绍为何信用评级机构无法预判次贷危机时,Silver指出,排除主观原因不提(比如信用机构胡乱给出AAA级别可以为自己牟利),信用评级机构的问题是他们没有意识到,准确性和精准性是不同的概念。
这些评级机构的模型都包括了各种可能发生的情况下的各种细节,但这些机构并没有意识到自己的模型本身就错得离谱。这就好比足球比赛中有一名球员每次射门都能射中门框。这名球员的精准性绝对万里挑一,但他对球队的贡献却有限:因为他的准确性不够,无法把球射入球门得分。
除了次贷危机之外,Silver还用了其他许多案例来介绍预测工作的每个重要组成部分,这其中既包括棒球、篮球、国际象棋、德州扑克等娱乐项目,也包括天气预报、飓风、地震、传染病等生活的点点滴滴,甚至还包括经济统计、金融市场、恐怖袭击、全球变暖等国际大事。
《The Signal and the Noise》的读者可以从书中一个个有趣信息当中(深蓝能够在国际象棋中击败大师卡斯帕罗夫,并不是因为电脑的计算能力,而是因为电脑程序中错误带来的随机性),明白大量的道理。这些道理既能运用于日常生活(地震是不可预测的,任何宣传地震可测的说法都是谬论),也能运用于工作之中(真正有用的预测,要先收集大量信息,做出客观的假设,之后根据事实的发展,进行不断的调整)。
《The Signal and the Noise》读后感(三):简介书摘···给网友点参考
简介
内特·希尔的新书《信号和噪声》是21世纪新机器的灵魂。- 雷切尔·玛多 《漂流》的作者
内特·希尔曾建立过一个创新的系统来预测棒球比赛,这个系统帮助他丝毫不差地预测了2008年总统选举。时时保持强烈求知欲望的他成为了引起全国轰动的博客作者,纽约时报现在出版FIVETHIRTYEIGHT.COM,当中希尔是国家最有影响力的政治预测家之一。
希尔利用自己开创性的系统,他对世界上的预测进行了调查,研究我们如何能够在广泛的噪声数据中分辨出真实有用的信号。很多预测都是失败的,通常给社会带来了很大的代价,因为我们大多数人都对可能性和不确定性有误解。专家和外行都误解了更多自信的预测能够带来更多准确的预测。但过度的自信常常是失败的原因。如果我们能够改善对不确定性的欣赏,我们的预测就同样能改善。这是“预测悖论”:我们对自己作预测的能力越谦虚,我们就能更成功的计划未来。
为了实现寻找数据中真理的目标,希尔访问了各个领域中最成功的预测者,从飓风到棒球,赌场到股票市场,美国国会到NBA。他解释和评价了他们的想法和共性。他们凭借什么成功的?他们是对的,还是只是靠运气?他们揭示了什么样的模式?还有他们的预测真是正确的吗?他考察了未预料到的平民和揭露了意外的共存。有时,与其说一个绝对意义正确预测有多重要,倒不如说这对竞争有好。在其他情况下,预测却仍然是一个初级的、危险的科学。
希尔观察到那些最准确的预测者们都对机率有更强的控制力,还有他们大多都既谦逊又勤奋。他们能够区分哪些可以预期,而哪些又不可以;他们更容易观察到极其微小的细节,这些细节引领他们接近真相。因为他们对机率的嗅觉,他们能够区分信号和噪声。
书摘
1.人们对预测和不确定性已经疑惑了好几个世纪。
2.电视评论专家作了糟糕的预测,这些预测并不比乱猜要强。他们因取得娱乐效果而受到奖励,判断错误并不会带来真正的惩罚。
3.统计学使让球运动发生了革命,但计算机极客们并不能完全取代球探。现在他们采取更多有趣方式一起工作了。
4.在过去的50年里天气预报已经取得了很多的进步,这要归功于更复杂的、大范围的超级计算机建模。
5.我们机会没有能力预测地震,不过我们知道有些地区更容易发生地震,还有这个地区发生N+1级地震比N级要威力大近10倍。
6.经济学家对预测数字方面的能力很糟糕,比如纽约的年GDP。他们的预测只有很小一部分与现实相关。他们都容易过分的自信,彻底低估了他们猜测中的误差率。在政治上推动这些预测会让结果变得更糟。(历史上白宫曾公布过这样的行为)
7.像禽流感这样的疾病传播是很难被预测的。有时我们会反映过大是因为出现不反映的风险看似更大。
8.有少数职业体育赌博者能够用生存下来,是因为他们在被人没发现前观察到了有意义的模型,他们的胜率会稍微地多余一半。
9.卡斯帕罗夫象棋大师认为他能够击败深蓝超级电脑。事实上是不能的。人们/电脑试图看穿对方的传说很有趣。
10.有几年内特·希尔是靠玩线上扑克来挣钱。当政府加强了规则限制后,那些不太会玩的玩家(‘鱼’)退出了游戏,接着他发现他再也挣不到钱了。所以他开始了FiveThirtyEight。
11.有效市场假说:市场看起来是非常有效的,但还不够完美。可能错误的根本原因:大多投资都是给机构完成的,在这些机构里面的工作人员获得的都是短期的利益激励。理性的雇员当他们随大流时面临的职业风险会比他们反大流要低得多;这样的情况可能会增强羊群效应,增大了经济泡沫。
12.气候预测:人为变暖是板上钉钉的事情(温室气体增加、气温上升、有充足的理论说明是认为导致这样)。但是,有很多充分理由去怀疑这详尽的电脑数据模型,还有大多书科学家都承认在细节上还有很多的不确定性。
13.在过去,我们不能预测到珍珠港和911事件。未知的事件让我们失措。现在我们要担心放纵了巴基斯坦核弹和其他未来潜在突发的大灾难。
原文地址:http://blog.sina.com.cn/s/blog_6a6c770401014z8f.html
《The Signal and the Noise》读后感(四):如何做出正确的预测
ate Silver如今俨然美国权威的政治观察分析家。这位纽约时报(New York Times)广受关注的政治选举预测分析博客FiveThirtyEight 的作者,准确预测了2012美国总统大选所有50个州的结果,超越了自己在2008年总统大选中49个州结果预测正确的记录。但是如果Silver也出错了呢?恐怕最惊讶的应该是Silver自己本人。这也是《信号与噪音》这本探讨了从德州扑克到气候变暖这样广泛的书,为什么如此有用和重要的原因。
纵观人类历史,人们总是认为那些能够预测未来的人,都拥有极其特别甚至是神圣的能力。从古希腊德尔菲神庙的神谕、中国古代传统中运用易经占卜,直到今天在金融危机前提出警告的Nassim Taleb所认为的,“黑天鹅”事件远比我们所认为的要多。
现代世界中,人类对预知未来的渴求几乎成为一种心魔。生活中有无数“今后会怎么样”的问题萦绕其间:禽流感究竟会不会大流行?气候变暖影响的程度会有多大?我退休后社保基金够不够支付我的养老金和医疗费用?下半年到明年A股的大势会怎么样?我们既会不断收到诚实但是不够准确的预测答案,也会受到某些神棍和别有用心的人利用这种心理而达到某种目的的忽悠和恐吓。所以说,Silver的成就是名符其实的,尽管预测选举结果并不是与这些问题相关的体系,但是,之所以他是如此特别的预言家,并不在于他帮助我们更加智慧的预测未来,而是在于他警告我们,对于未来的确定性我们无法全知全能。
在继续探讨之前我们需要先讲讲作者自己的故事。Silver2000年从芝加哥大学经济学专业本科毕业之后的头几年,一直在毕马威会计师事务所做国际税务顾问,工作之余他决定利用自己掌握的统计学知识,构建了一个名叫PECOTA(Player Empirical Comparison and Optimization Test Algrithm)的数学模型,来预测MLB美国职业棒球联盟球员的表现走向。他的模型灵感来源于奥克兰运动家队经理Billy Beane运用的统计思想(Billy Beane带领奥克兰运动家队的传奇事迹后来被Michael Lewis写成书,就是Moneyball,同时被改编成同名电影,非常引人入胜)。后来的一系列事实证明了PECOTA模型的正确,然后Silver将模型卖给了另一家专业从事棒球分析预测的公司,小赚一笔,当然了,PECOTA也不是绝对的百分百正确,一样会有预测失误的时候。2011年底回顾过去六年历史时Silver发现,他的模型能够很好的应用在小联盟运动员进入大联盟比赛后的成功,但是棒球球探的经验分析结果也会比模型做出更好的预测。经历过这些,他在书中不断强调这样的观点:仅仅依靠数据挖掘是不够的,人的经验和决策是无法替代的。
就在完善应用PECOTA模型的同时,Silver还进入了职业赌博的世界,并迅速打入了世界扑克巡回赛(WSOP)。顶级德州扑克赛事的层面上,需要在快速发牌中运用惊人的概率计算能力,以及其他比赛技能,刚开始时Silver收获颇丰。然而,在经受了一连串损失之后,他在2007年彻底放弃了德州扑克,主要在于比赛愈发艰难时他难以持续改进他的方法。他在书中写道:“玩德州扑克比赛那几年教会了我很多,即在尝试理解世界和预测它的未来进程时,概率在我们生活和所带来的错觉妄想中扮演的角色。”
这些并不是我们经常在电视里砖家访谈和经济评论网站上读到的那种耸人听闻故弄玄虚的自传故事。Silver的观点是,我们需要使用概率化方法来思考,而不是在虚幻的确定性中得到满足。他的FiveThirtyEight博客中的预测同样是使用这样的思维方法,在12年美国大选中的不同时点,Silver对奥巴马胜出概率的预测从最低的59%到最高的91%(选民投票前夜),当然了,即便是91%概率胜出的预测也可能失算——好比玩德州扑克你就算拿到一手葫芦牌也可能会输一样。
ilver使用的方法可以总结为两个方面:首先是获取尽可能多的数据,以总统选举预测为例,为各州层面上的选举数据;其次是使用基于贝叶斯方法的统计技术,根据人口统计和其他因素对数据进行均值和校正。运用贝叶斯定律的技术方法,需要对未来做出最优预测,然后在获得新的信息数据后不断修订调整。
《信号与噪音》一书中大部分探讨的领域都与Silver的专业并不相关,从德州扑克到国际象棋,从金融危机到气象预报,但这些都是贝叶斯定律的应用范畴。气象预报的模型已经非常准确和完善,但是根据作者的观点,气象预测仍然受到高水平不确定性的影响。社会科学领域的预测或许是最容易被击败的,例如在2007年末,《华尔街日报》对08年经济形势的一个调查结果显示,经济学家们认为2008年仅有38%的概率进入衰退。事实结果证明,2008年后直至今日,美国经济依然没有走出低谷。
非常令人惊喜的结果是在气象预报领域,可以称之为预测罕有的突破,并且在最近几十年间不断优化进步。就在1980年代,美国国家飓风中心还无法提前一天在100英里精度内预测飓风的登陆地点。但是今天研究者已经对飓风活动建立了精密的模型,能够在同样精度范围内提前三天做出预报,并告知处于飓风威胁区域的人们精确的时间进行疏散。美国国家气象局预报有20%的降水概率时,在那段时间水平里的的确确是有20%的可能会下雨。
优秀的预测有两个主要来源:可提供反馈的大量数据,能让预测者持续根据现实检查和修正他们的模型。这也可以帮助我们理解为什么气象系统能够有效运行。经济学家的预测为什么通常都十分糟糕,关键在于存在海量数据,同时缺乏能够有效解释经济活动运转的可靠模型,这就导致了难以解释数据的真实含义。换句话讲,他们难以从“噪音”中提取出“信号”。Silver这样总结:“信号代表着真实,噪音使我们远离真实。”然而,找出信号,并不简单的是一个技术性难题。比如,在911恐怖袭击发生之前,确实存在一些可以预警的线索和情报,但是国防部和中央情报局的官员却忽视了这种级别的自杀式恐怖袭击,根源在于并没有想象到这种可能性竟然会存在。
“我们可能高估了自己预测未来的能力”,Silver写道。这是一条我们不会从各种深具权威的专家口里听到但又非常重要的观点。预测是一门必要但是危险丛生的艺术。运用自身能力观察世界时应保持谦逊,对待别人的断言应心存怀疑。这些经验和教训,或许极大的提高了本书的信噪比吧!