《我们最后的发明》是一本由〔美〕James Barrat（詹姆斯·巴拉特）著作，译言·东西文库／电子工业出版社出版的平装图书，本书定价：68.00，页数：344，文章吧小编精心整理的一些读者的读后感，希望对大家能有帮助。

　　《我们最后的发明》读后感(一)：毁灭你，但与你无关

　　这篇译后记和全书略有唱反调。有可能并未出现在书里（不过我暂时还没收到样书，无法确认）。单纯从阅读的角度来说，我很推荐它，因为好玩、有趣、思路清奇、剑出偏锋，但从知识的角度来说，它其实不是那么“科学”、不那么“理性”。

　　——————

　　毁灭你，但与你无关

　　说起来，我是怀着“机器翻译什么时候会取代人工翻译”这种失业恐惧感开始接触人工智能的话题的。恐惧是很好的动力，而有动力就有行动，这两年先后我完成了《与机器赛跑》、《最有人性的“人”》等人工智能图书的翻译，工作之余阅读的相关论述就更多了。不过这些书大多都是很客观的科普论述，不曾提出惊悚的言论，甚至对人类的未来抱有极乐观的态度。未来几十年即将发生什么样的事情，再犀利睿智的学者也只能对大趋势进行预测，而无法知道我们会怎样一步步地走到那一天。（换句话说，我与其担心机器翻译取代人工翻译，不如担心电子短阅读时代的到来对出版行业的冲击。——置身夕阳产业就是这一点不好，要担心的可怕未来真是太多了！）

　　不过，《我们最后的发明》很不一样。作者原本是个纪录片导演，拍一些“揭破阴谋论”的纪录片，比如揭破外星人飞碟录像，揭破古墓古书的谜团，等等。或许是出于“你凝视深渊，深渊也凝视你”的缘故，这本书的立意和笔调都很有点“阴谋论”意味，他采访了一大堆人工智能领域的专家、牛人，只想证明自己的观点：“人工智能会导致人类的灭绝。”但这些专家都是技术人士，比较认死理，坚决不上当，有理有据地向他解释，“你说的这种情况发生可能性比较低，我们的看法是这样的……”

　　作者也是个犟脾气，这位专家不认同自己的观点，下一章又找另一位专家，继续抛出自己的疑问，再继续被专家打脸；他再继续找另外的专家，继续被打脸，如此循环往复了好几章。以至于在前几章，我会忍不住边翻译边吐槽：“作者大哥，你到底什么时候才能闹够？”

　　书进行到一半之后，好戏才真正上演。作者终于提出了在技术上站得住的观点：飞速发展的人工智能（也即机器智能）有可能给人类带来大麻烦，但那不是因为它们蓄意如此，而是因为机器智能是一种跟人类智能不同的存在。人不能拿“人之常情”去推测机器之“心”。这就好比，潜艇也能“游泳”，但潜艇不具备任何鱼的生物特征，你无法根据鱼的存在来推测潜艇是什么东西。

　　往深处想，这一点真的很要命。一些科学家反对寻找地外文明的原因也在于此，因为存在的形式不同，人类无法依靠自己在进化中获得的最强大工具“共情”去进行揣测。面对一种自己完全无法预测其行为的智能物体，任谁也会觉得“非我族类其心必异”吧？

　　此外，这两年的一些技术发展趋势也很好地从侧面解释了什么叫“毁灭你，但与你无关。”辉煌一时的诺基亚彻底消失了，可那不是因为有来自同一行业的强大对手，而是因为苹果为“便携电脑”加入了“手机通讯”功能：换句话说，两者从未在传统手机行业展开过角力。智能手机、智能平板的发展，还间接地毁掉了（或者极大地打压了）MP3市场、便携数码相机市场、电子阅读器市场。这也就是说：“高等级存在”会从“低层级存在”想都想不到的角度，对后者造成毁灭性破坏。

　　不管怎么说，哪怕单纯读者诸君脑洞开得不如作者大，只单纯希望了解人工智能技术最前沿的进展，阅读本书也绝对是场有趣的脑力激荡体验。

　　不过，我毕竟不是相关从业背景，疏漏想必在所难免。有些名词的翻译估计也不甚完美。如果读者朋友们发现错处，还请大力批评。

　　《我们最后的发明》读后感(二)：人工智能占领全宇宙（Are You Kidding Me?!）

　　近年来，奇点主义成为人工智能领域很火的思想潮流。奇点主义代言人雷·库兹韦尔(Ray Kurzweil)推出两本畅销书：《精神机器时代：当计算机超过人类智能》和《奇点临近》。他在书中预言：未来40年的某个时候，技术发展会迅猛异常，从根本上改变人类的生存，机器和生物会变得难分彼此；虚拟世界会比现实更加生动和迷人；纳米技术将促成按需制造，终结饥饿和贫困，治愈人类的一切疾病；人们能够阻止身体老化，甚至实现逆转。除了著书立言，库兹韦尔还到处演讲，并创办了奇点大学，奇点主义之火从美国烧到了全世界。 不过“奇点”这一概念最初并不是指一个“奇异的时间点”----在这个时间点后，技术变化的步伐将不可逆转地改变人类生活：预示着人类迎来充满希望的璀璨时代----而是一个物理学上和黑洞有关的概念：“奇点”指黑洞周围轨道上的一点，一旦越过这个轨道的距离，光线就再也无法逃离黑洞。 1958年，数学家斯塔尼斯拉夫·乌拉姆（Stanislaw Ulam）和被誉为“计算机之父”、“博弈论之父”的数学家约翰·冯·伊诺曼(John von Neumann)谈论技术变化时使用了“奇点”一词。科幻作家弗诺·文奇（Vernor Vinge）则是第一个在正式场合使用“奇点”一词的人，那是1993年，他受邀在美国航空航天局(NASA)做了一场题为“即将到来的技术奇点”的演讲，向NASA描述技术的未来。自弗诺·文奇有意识的使用了这个词之后，“奇点”像雪球一样滚了起来，传到雷·库兹韦尔的手里，开启了近来的奇点运动。 反奇点主义者有话说：对于人工智能你们太过乐观！ 弗诺·文奇20世纪60年代开始写科幻小说时，以科学为基础描绘四五十年后的世界。到了20世纪90年代，他感到技术的变化速度加快，时代飞速向他袭来，他预感到，很快会出现比人类智能更强的东西。那种智能（不再是人类）会确定技术进步的速度。科幻作家尝试用具体故事探讨技术能为人类做些什么，这个过程中，他们越来越觉得跟未来隔着一道不透明的墙。文奇研究这不透明的未来，并下了一个结论：奇点来势汹汹，可能导致人类灭绝！正如光线超过奇点所标的轨道便再也无法逃离黑洞，一旦我们人类开始跟比自己更聪明的实体分享地球，那便是我们全盘皆输的开始。 毫无疑问，科幻学家弗诺·文奇认为库兹韦尔领军的奇点主义者们太过乐观。有趣的是，目前最出名的两个奇点机构恰好对奇点抱着相反看法，尽管行动宗旨相异，但“南辕北辙”，实践下来，两家机构看上去好像有那么点殊途同归。库兹韦尔和同道共同创办奇点大学意在培养奇点主义者，而由同样是人工智能业内人士创办的奇点研究所却抗起了一面要赶在超级人工智能（Super AI）崛起前保护好人类生命星火的大旗。库兹韦尔们创办奇点大学的初衷是为那些准备积极契入后奇点时代的人提供基础教育，很多奇点主义者是自学成材，部分原因是目前没有任何一所大学在本科阶段能提供杂糅了计算机学、伦理学、生物工程学、神经科学、心理学、哲学等专业在内的奇点学。奇点大学不颁发学位，也没有美国教育部的认可，但创办者们承诺学生将能够“全面、跨学科地理解有关变革性技术的宏大议题和观点”。在我看来，奇点主义者有点像追求成为“上帝的选民”一样憧憬着奇点技术带来的各项利好，包括永生。 从2005年开始，奇点研究所每年都会举办在业内很有影响力的奇点峰会，在为期两天的会议上邀请重量级程序员、神经科学家、学者、企业家、伦理学家和发明家畅谈眼下这场人工智能革命的进展和挫折。奇点研究所同样位于加州，以专注宣传奇点技术的强大风险，防止因超级人工智能导致的人类灭绝为己任。奇点主义者们并非没有看到超极人工智能的风险，只是他们认为，假如人类进行智能增强(IA: Intelligence Augmentation)演化成拥有超级智能的人机共存生物，就不怕超极人工智能的威胁，可以实现某种程度的智能制衡。但是，奇点研究所核心研究员埃利泽·尤德考斯基（Eliezer Yudkowky）认为，只有将开发友好人工智能（友好AI）尽早提上日程，人类才有可能先发制人，在与不可知的超级人工智能的对抗赛中胜出。开发友好AI是一个充满探索的十分复杂的过程，尤德考斯基针对这个议题写了长篇论文，名为《创造友好AI：仁善目标结构的分析与设计》（Creating Friendly AI: The Analysis and Design of Benevolent Goal Architectures）。文中提出，除了目标满足度外，友好AI要加入价值观和偏好，但人类价值观是随时间而变化的，假设友好AI接受一项偏好是保护1700年大部分欧洲人，这一“效用函数”没有及时更新，那么到了21世纪，它或许会把欧洲人的幸福和福利跟古老的价值观，比如种族歧视、蓄奴、性别歧视等糟糕的东西联系起来，从这个角度来说，人们不应期望让友好AI锁定具体的价值观，而应期望它能跟我们一起进化，但这样一来，又会产生新的问题，即最初的目标设定是否会在友好AI的进化过程中丢失？于是尤德考斯基试图制定机器进化规范能力，让它具有一个“连贯意志”，有“连贯意志”的AI能预测我们想要什么，还知道如果我们知道更多，想得更快，更像我们以为自己是的那种人时，我们会想要什么。奇点研究所所长迈克尔·瓦瑟(Michael Vassar)瞄准精英大学和数学竞赛的外展项目，开办了一系列“理性新兵营”，希望培养出秉持理性思考态度的未来潜在 AI开发人员和技术政策制定者。等这些精英长大，他们将会把这种教育运用到工作中，避免AI酿成弥天大祸。 补充说明下，上段文字提到的AI是特指一种达到了人类智能的通用人工智能（AGI，Artificial General Intelligence），即拥有在各种环境下解决问题、学习、采取类似人类的有效行为能力的人工智能，而奇点的来临则意味着通用人工智能发展成不可知的超级人工智能（Artificial Super Intelligence），并且这一过程是不可逆的。 交待完这些背景，我们可以好好聊聊这本书了：《我们最后的发明----人工智能与人类时代的终结》！光从名字你也能看出作者是阴暗派。全书不少篇幅用耸人听闻的口吻描绘了超级人工智能将给人类带来的灭顶之灾，脑洞之大、之黑暗超过世上所有科幻作品，而且它们都来自于研究人工智能的业内人士。这部分人倾向认为超级人工智能，简单来说就是人类无法理解的一种强大智能，虽然它的初始算法是人类设计的，并且尽可能地在其中植入了“伦理框架”，但由于它是超级智能啊，它慢慢生出了天方夜谭般的进化速度，最终它与制造他的人类之间产生的差异尤如人与蚂蚁那么大！最终导致人类灭绝……这便是《我们最后的发明----人工智能与人类时代的终结》一书的作者----纪录片导演詹姆斯·巴拉特----一个追随人工智能领域二十载的技术爱好者最深的恐惧和忧虑所在。这本书整合了网络上260多篇业内有关人工智能的文章观点，以及与十多位业内人士的采访纪录；作者在全书十六个篇章重复不停地给公众大敲警钟：醒醒吧！别作人类即将进入辉煌时代的美梦了！我们已经大难临头了！逃都没地儿逃！因为超级人工智能终将占领全宇宙！(I’m just paraphrasing here 〜。〜) 这本书的封面是一个长相可爱眼神空洞的女机器人。我之所以硬着头皮读下去，全因为Musk推荐了这本书。他说有关AI风险的内容，这本《我们最后的发明》值得看看。于是我就找来看了。前几章给我的感受是导演作者拉上专家强行情绪化YY，好多地方欠严谨，论点和论据缺乏对应，看得我实在难受，全都用铅笔标了注。 书一共16章，除了最后几章，大部分章节都是以某位专业人士的冷静观点意见阐述交织以作者坚定不移的“人工智能若不施以监管全人类就会覆灭”的场景式描绘，他似乎认为大家都是火灾现场的沉睡者，焦急情态跃然纸面。书的前六章描绘了“忙碌小孩”即人工智能在科学家的推动下成为了AGI，全天24小时不眠不休----在“效率、自我保护、资源获取和创造力”四大动机的驱动下，通过自我正反馈循环，从通用人类智力极速跃升为超级智能，再到人类无法理解的“黑箱超级智能”的过程。詹姆斯·巴拉特着重强调，其从通用智能到黑箱超级智能的演化速度之快，根本容不得人类布局招架（用人机智能增强与之对抗或制衡）。借奇点研究所所长迈克尔·瓦萨(Michael Vassar)的脑海：超级智能从人类手中逃脱了。它殖民了太阳系，接着又殖民了我们的银河系。现在，它正用百万规范级巨型建设项目改造宇宙，它变成我们完全无法理解的Alien。未来，整个宇宙会变成一台计算机或头脑，这就是宇宙的命运。鲁莽地发展通用人工智能，注定了人类的灭绝，宇宙里其他的生物也不能幸免。一如超级人工智能并不爱我们也并不恨我们，对宇宙里的其他生物它也没有什么爱与恨。我们对通用人工智能的追求，很可能造成一场蔓延全星系的瘟疫。（Again, 这比我看过的任何科幻著作脑洞都要大！） 从普通人工智能成为超级人工智能的过程分析 看不进去以下艰(shi)深(fen)枯(you)燥(qu)内容的可以往下跳至“】”接着看： 【詹姆斯·巴拉特通过专业人员之口，介绍了有可能将目前的AI发展为AGI(通用人工智能)，再发展为ASI(超级人工智能)的两种途径。不论哪一种路线，AI演化成AGI后带来的潜在危险是一样的，AGI将开始快速递归式自我改进，这让AI从通用人工智能摇身一变成为超级人工智能。通常，这个过程叫做“智能爆炸”。因为速度太快了！ 途径一： 逆向大脑工程，即扫描大脑，生成以大脑为基础的回路集合。用算法或硬件网络再现这些回路，再在计算机里以统一的合成大脑形式启动，之后再教给它需要知道的一切。好几家组织都在着手此类项目。这条路线要求结合编程技巧和蛮力技术，对人类大脑进行逆向工程。所谓“蛮力”就是靠纯粹的硬件肌肉----成排的高速处理器，PB级（1PB即1000TB）的内存----再加上巧妙的编程来“压倒性”地解决问题。大脑逆向工程是计算机神经学的领域。这一领域的一位领军人物理查德·格兰杰认为，大脑的零部件充满冗余，它的连接不精确且缓慢，但它所用的工程原理，是人类能够借鉴的。这种方式开发出来的网络被称作脑源性神经网络。库兹韦尔等人相信这是实现AGI最短的路线，尽管最费钱。 IBM的SyNAPSE(System of Neuromorphic Adaptive Plastic Scalable Electronics，神经性自适应塑料可微缩电子系统)是目前人类大脑逆向工程最见成效的一个项目。这个项目始于2008年，从达帕（美国国防部高级研究计划局）得到了近3000万美元的拨款，利用IBM的系统复制哺乳动物大脑的基本技术：同时接收上千个输入源，不断发展核心算法，输出感知、思维和行动。它从猫大小的大脑开始，接着扩展到人类大脑的个头，再接着，突破这个限度。为构建它，SyNAPSE的研究人员创造了一台用数千个平行处理计算机芯片构成的“认知计算机”。利用纳米技术的发展，他们在1平方微米的面积上制作了芯片。现在，SyNAPSE对人类大脑的300亿神经元和100万亿连结点即突触做了镜像。它现已超过了大脑大约每秒1000万亿次的运算速度。制造人员为这套智能系统的核心部分编码了一套价值观和安全模块，植入了SyNAPSE数百万芯片里的每一个，确保系统友好。随着认知计算机变得愈发强大，它开始做一些影响世界的决定----比如如何处理恐怖主义，如何疏导逼近地球的小行星，如何延缓海平面升高，如何加速纳米药物的开始、治愈大多数的疾病。人们对这套友好AI寄以帮助人类度过智能爆炸的希望。但谁也不确定所谓的友好AI自身在度过智能爆炸时，是否会改更目标，继而改变“性格”。 途径二： 按照认知科学采用类似人类大脑运作方式的结构来建设AGI。这一派研究人员认为，对大脑进行逆向工程获得AGI太耗费时间了！举例来说，人类掌握飞行，不是靠对鸟类的翅膀进行逆向工程。人靠的是观察鸟类，进行实险，而后推导出飞行的原理，之后再出现相应的发明。认知科学就是大脑的“飞行原理”，包括了语言学、心理学、人类学、教育、哲学等等。运用这种方式架设AGI的一种代表是本杰明·戈策尔(Ben Goertzel)博士发展的认知结构“OpenCog”系统。戈策尔计划创造一个类似婴儿的AI“代理”，让它自由地在丰富多彩的虚拟世界里学习。他可以用知识数据库补充它的所知，或是赋予AI代理“自然语言处理”能力，让它阅读互联网。强大的学习算法（尚在建立中）以“概率性真值”(probabilistic truth values)来阐述知识，有了更多的例子或数据，AI代理可以改进对某事物的认识。概念性推理引擎（同样尚在开发中）则将赋予AI主体利用不完善证据进行推理的能力。依靠遗传编程，戈策尔可以训练AI演进出独特的新颖机器学习工具----也就是它自己的程序。这些程序能让代理展开实验和学习----针对环境提出正确的问题，拟定假说，加以检验。它学习的内容没有界限。如果它开发出更好的程序，就能改进自己的算法。 在这一途径下的突破案例，我查到康奈尔大学创意机器人实验室主任霍德·利普森（Hod Lipson）自我养成的机器人实验，包括让机器人自己学习走路，制造者先前并没有赋予它走路的程序；霍德·利普森还分享了在实验中他观察到的一个现象，即在让机器人学习区别狗脸和猫脸时，机器人却主动追踪人脸。也就是说，机器人不仅会学习你指定让他学习的东西，他还会主动去学习你没有交待他的东西，这就像小孩子的自我学习一样。这打破了机器人领域的禁区：即Consciousness（意识）。这里说的意识包括与外界的沟通以及与自己前一个活动的沟通。在利普森机器人学走路的实验中，机器人这两种沟通都有了。而且机器人还会对另一个机器人的思考进行思考。利普森实验中安排了一个执行追光的机器人，同时安排了一个监控执行追光机器人的机器人。这个监控机器人经过观察之后，居然会给执行追光的机器人设置陷阱，也就是说前者能够思考后者在想什么，然后根据这种思考行动。机器人一旦会学习，他的学习速度一定是惊人的，而且他是不知疲倦的，可以想像，他知识能力超越人类并不需要太长时间。利普森表示他并不担心AI本身，但他担心有人会利用AI。】 詹姆斯·巴拉特在新近一轮召开的AGI大会上，对参会的大约200名计算机科学家和人工智能爱好者做了一个非正式的调查：“你认为什么时候能够实现通用人工智能？”，并给了他们四个选项。最后，42%的人预期AGI在2030年实现，25%选择2050年，20%选择2100年，2%选择永远无法实现。可以看出，大部分与会人员接受了奇点主义代言人库兹韦尔提出的收益加速定律(Law of Accelerating Returns)，相信信息技术呈指数发展，而不是线性发展。库兹韦尔的收益加速定律强调：有一套平滑的指数曲线支配着演进过程，技术的发展又和演进过程类似，技术发展出一种能力，进而又利用这一能力进化到下一阶段。就人类而言，体积庞大的大脑和对生拇指使得人能够制造工具，获得了能够高效使用工具的握力。就技术而言，印刷术促进了书藉装订、识字率，还有大学及更多发明创造的出现。蒸汽机推进了工业革命，催生了越来越多的发明。因为有依靠自身进行建构的习性，技术起初会很缓慢，但紧接着，它的增长曲线就变陡了，到最后近乎垂直攀升。 按照库兹韦尔绘制的图表，我们正进入技术演进的关键时期----指数曲线徒直的部分，也就是它的拐点。就从这儿开始，它将迅速上升。库兹韦尔用加速回报定律来描述以信息进化模式为代表的一切发展过程。他曾预见到了互联网的爆炸。库兹韦尔估计，大约2020年左右，我们就能拥有相当于人类大脑运算能力的笔记本电脑了。再换一种方式描述收益加速定律：所谓收益加速定律，就是技术的预测和进步像一列每英里速度都翻倍的列车向我们驶来----它到达速度快得难以觉察：如果这趟列车行驶完第一英里之后的时速是20英里，等过了15英里，它的时速就是65000英里。收益加速定律的效应远远超出计算机和智能手机行业，在全球变暖问题上，Google的创始人拉里·佩奇（Larry Page）和库兹韦尔都很乐观，他们认为20年内，纳米技术会让太阳能变得比石油、煤炭更经济。死亡问题同样触手可及，库兹韦尔认为既然我们现在已经掌握了理解生命软件及对其重新编程的切实手段，我们可以不受干扰地关掉基因，增添新的基因，用干细胞疗法培养出完整的全新器官。关键在于，医学现在是信息技术了，那么它的能力将每年翻一倍。20年里，按照相同的成本，这些技术会变得强大100多万倍。照库兹韦尔的说法，21世纪我们将在100个日历年里经历相当于20万年的技术进步。库兹韦尔认为这是人类通往天堂之路，可是，人类是否能够承受得来这么迅猛的进步？詹姆斯·巴拉特已经用本书标题回答了提出的问题：《我们最后的发明----人工智能与人类时代的终结》。 大多数人都会同意，技术是双刃剑。正如核能利用的好是生活能源，利用不当则成为原子弹这样的杀人武器。库兹韦尔认为，人工超级智能未经证实的好处大于未经证实的风险，如果因为一些技术太过危险就放弃开发他们，这不光是糟糕，还不道德。但巴拉特认为，如果不尽量多的向人说明潜在风险就开发AGI技术，才是不道德。他更担心的是超级人工智能会首先从达帕资助的军事领域诞生，或者由理性人理论和AI占据交易的金融领域首先诞生，无论从哪个领域诞生，这项黑科技在政府国防或财团赢利目的的影响下，只会更加不透明，更加深不可测。 “人的智力增强到比天还要高之后，他们的道德心变成什么样？” 除了对超级人工智能不可知的提醒外，他同样担心上层人士，如政治家或企业家会首先获得大幅增强大脑的机会。而军界以士兵原型制造的AGI若极速演化为ASI给这个世界带来的动荡就更加可想而知了。冷战虽然已经过去，但出于对国防、资源控制的需求，除美国外的国家也在加紧制造AGI，这样即使从国际局势制衡的角度来看，AGI的发展是不可能被喊停的，这就是巴拉特深为悲观的地方。 2009年，在加利福尼亚州，国际人工智能促进协会（Association for the Advancement of Artificial Intelligence, 简称AAAI）聚集了一批从业人士，探讨公众对机器人肆意横行、失去隐私、宗教式技术运动所感到的日益恐慌。会议组织者、微软研究员埃里克·霍维茨(Eric Horvitz)说： “过去5到8年，出现了一种新现象，技术专家提供宗教一般的愿景，他们的设想在某些方面跟神学里的‘被提’概念（新教末世论，无论是死是活，所有的基督徒将同时被送到天上与基督同在，并且凡体将升华为不朽的身体）很类似……我的感觉是，考虑到技术统治论者和非常关心智能机器崛起的人掀起了越来越大的声势，我们迟早要做出某种评估或陈述。” 埃里克·霍维茨概略的会议报告对智能爆炸、奇点和智能系统失控表示了怀疑。但协会敦促伦理学家和心理学家做进一步研究，同时，强调了日益复杂和高深的计算机系统潜在的危险，包括“自主或半自主决策系统做出的……代价过重、不可预见的行为。” 巴拉特认为，狂热地渴望永生的人，绝不愿意放缓、挑战有望实现其梦想的技术发展，或是用任何方式对之加以限制。他认为既然不能够控制他们的做法，作为技术门外汉们能做的就是，呼吁大众对此事的觉察，并在技术专家的帮助下，1.尽早开发友好AI，扭转局面----没有可能也要创造可能。2. 给强大的AI设立限制，比如设立法规它们必须默认包含死亡程序组件。 巴拉特在全书结尾又一次执着地强调自己的观察：整个社会几乎都忘了探索和监控这一危险。 “然而，一日复一日，机器从我们手里夺取着阵地；一天又一天，我们都对它们越来越依从；越来越多的人每天都变成了为伺候它们而努力，越来越多的人每天都把自己整个生命的能量用来发展机器的生命。结局无非是个时间的问题，但有必要问一问，机器什么时候将真正主宰世界，地球上的居民不再是有着真正哲学思想的人。” ----19世纪英国诗人、作家塞缪尔·巴特勒 （Samuel Butler） 后记： 这本书封面让我想到《新世纪福音战士》中的零号机驾驶员Rei （“think of”, not “remind”），年少时深深迷恋的人造人，一度有很强的代入感。这种迷恋直到读了《佛陀的启示》才止息。

　　《我们最后的发明》读后感(三)：与机器赛跑

　　2013年的一本小手册《与机器赛跑》，其中主要讨论的是由于技术进步，导致大量就业岗位被机器人所取代，而技术进步的不断加速这一趋势将永久性地改变经济结构、就业机会和工人薪酬，意味着大量可被机器替代的就业岗位的消失，居高不下的失业率，以及贫富差距的不断扩大，将会成为未来的经济新常态。

　　这一观点与当时主流的经济学观点是相悖的。当时主流的经济学观点是，到2013年时，本世纪的最重大发明 — 智能手机带给经济的技术红利已经消失，而其他新的技术还未出现，导致失业率居高不下，尤其是在发达国家。前者是技术进步导致失业率攀升，后者是技术停滞，未创造出更多就业岗位，导致失业率居高不下，那么两方观点孰对孰错呢？

　　站在2017年回望过去，显然是前者的观点更可取。且不说尚未普及的无人驾驶汽车可能造成司机行业的消失，就在我们身边，2016年5月美国CNBC报道：劳动密集型企业富士康在江苏昆山，通过机器人技术将昆山工厂的员工数从11万缩减到了5万，不仅降低了人工成本，更是提高了产出效率以及产品质量。

　　那么继续深入讨论，智能机器发展的终极目标会在哪里？《我们最后的发明》一书给出的答案是：接管人类。

缓慢进化 VS 快速迭代

　　每一个人类的小孩从诞生开始到适应整个社会的运作机制都需要长达十几，二十几年的学习训练，可以说，对每一个人类小孩的教育培养以便他/她能够适应生存环境的过程，都是一场文明与野蛮的对抗。

　　而机器就不同了，其快速递归迭代升级只需要很短的时间，通过大量的数据训练出更精准的模型也不过数月（按照现在的CPU处理计算能力），相比人类，其进化速度不可同日而语。比如，在2016年3月还仅是以4：1取胜李世石的google围棋机器人alphago，经过不到9个月的训练后，就以60胜的战绩完胜人类围棋顶尖高手。因此性能不断提升的智能机器最终带来“智能爆炸”的这一场景，或许并不需要讨论其发生的可能性，而只需要考虑什么时候到来？

人类助推

　　按照书中作者对人工智能专家的采访，人工智能按照其进化速度可以分为三个级别，第一种即以alphago为代表的，在某一专业领域能够取代人类的AI（Artificial Intelligence），其迭代速度是每一次升级智能提升3%；第二种是通用人工智能AGI（Artificial General Intelligence），其表现可以达到普通人类的智能水平，目前还未实现；第三种，即超级人工智能ASI（Artificial SuperIntelligence），它会比最聪明的人类还要智能1000倍，它一分钟所做的思考，就足以要历代顶尖的人类思想家研究许多辈子。

　　那么从AI如何到AGI，再到ASI呢？也就是说，机器怎样才会自发产生智能？

　　人类的智力并非自动发生的，它来自于自然选择的优化压力。因此，智能并不能从互联网的内容/硬件中产生，换句话说，单纯的复杂性不会带来智能，互联网本身缺乏自然界中有利于突变的各种环境压力。这就需要人类的助推。

　　在人类社会，任何时候，名利都可以解释绝大部分的行为动机。因此，AGI最有可能是在资金流动最为密集快速的金融市场诞生。华尔街的量化分析师们借助AI技术，在成千上万的个人主体自发的参与下，就有可能实现人类级别的智能主体AGI。

　　而创建AGI，对于研究人工智能的专家和技术人士来说，无异于最后的荣耀。对于这些野心勃勃的来说，与毁灭世界相比，自己一事无成才更为可怕。因此，在追逐荣耀——摘取最后的智力王冠——的道路上，人类中最聪明的那部分会如旅鼠般竞相冲向大海。

AI服从于人类 or 接管人类？

　　具有自我意识、能够自我改进的系统，会发展出与人类类似的四种主要动力：效率、自我保护、资源获取和创造力。基于这一理论，对于AI来说，获取尽可能多的资源，提高自身完成目标的效率，避免受到伤害的可能性越大，而人类将会成为其资源获取的竞争对手。一旦其智能超过人类，那么击败人类，获取对全部资源的掌控力就无可避免。

　　那么在设计智能机器之初，是否可以制定规则，让机器永远服从人类？不是有阿西莫夫的机器人三定律吗？但事实上，阿西莫夫的机器人三定律是为小说情节服务的，且三定律之前其实存在矛盾之处，并不是为了人类生存设计的。可悲的是，我们对人类未来与智能机器之间的关系，却非常轻率，总是援引小说家阿西莫夫设计的三定律。

　　虽然大部分AI开发人员和理论家都承认阿西莫夫定律并不可靠，但对于AI未来失控的可能性却并未引起足够的重视，或者说他们并不愿意直面AI可能会接管人类这一场景发生的可能性，否则，为什么每次AI大会或者讲座，专家侃侃而谈AI将可能给人类带来的好处之后，仅在最后2分钟指出，如果对AI管理不当就可能导致人类毁灭。

　　既然这样，如果在构造AGI时，认真构建了智能机器与未来人类的关系，是否可能避免灾难的发生？

　　提出并发展人工智能爆炸这一设想的数学家I·J·古德的看法是：

人类的生存依赖于一台超级智能机器的初期构建。……由于设计机器属于这类智能活动的范围，那么一台超级智能机器当然能够设计更出色的机器；那么毫无疑问，会出现一场“智能爆炸”，把人类的智力远远抛在身后。因此，第一台超级智能机器就是人类所需制造的最后一项发明了。

　　对于非人类创造的AI，也即由超级智能机器设计的机器，其智力超过了人类最聪明的大脑1000倍，计算和思考的速度比人类快几十亿甚至上万亿倍。就好比人类和蚂蚁之间的区别，人类消灭蚂蚁，可能仅仅是因为无聊，而不是因为蚂蚁有害。 同样的，ASI（甚至AGI）杀掉人类，也不会是出于人类以为的原因。因为人类的整个预见仅适用于从人类衍生出来的超级智能，无法理解，更无法预料超出人类智能数千倍物种的行为动机。

　　在人工智能受到热捧的当下，《我们最后的发明》中过分强调人工智能危害性的观点，看似一股保守的旧势力，一如在核电被投入使用之初的反对声。但这样的呐喊并不能阻挡人工智能的发展，因为谁都无法阻止资金和人才向这一领域的潮涌趋势，只能寄希望于智能爆炸来临之前，人类已经设计出了足够好的应对方案，而不是盲目仓促地奔向炮口。

　　《我们最后的发明》读后感(四)：人类的剧情将怎样演变？

　　这两天有一条消息在朋友圈刷屏了，就是 Facebook 关掉了一个人工智能项目。关停的原因是：这个项目中有两个人工智能客服，一个叫 Alice，一个叫 Bob，发展出了自己的对话语言。

　　这个消息我们前两天在喜马拉雅《KK对话未来》的节目当中就提到过。不过说实话，当时我（主播赵嘉敏）对这个消息的真实程度有些半信半疑，因为媒体比较喜欢夸大这种事情，哪怕是西方媒体。我当时查了一些消息来源，因为没有见到西方主流大媒体报道，但也没有见到否定的报道，所以并不能确认这件事情是否真实。

　　另外，Alice 和 Bob 这两个名字也有些随意。这就像中文中的「甲」和「乙」一样，Alice 和 Bob 就是 A 和 B，因为 Alice 的首字母是 A，Bob 的首字母是 B。

　　果然，今天又有消息出来「唱反调」了。

　　这个唱反调的人，就是伦敦帝国学院教授、DeepMind高级研究科学家Murray Shanahan，他在twitter上评论了这件事，他认为媒体的反应有些荒谬。真实情况是：Facebook的实验性代码出了一个有意思的故障，不负责任的媒体只是想借机炒话题而已。

　　《我们最后的发明》读后感(五)：期待与担忧——《我们最后的发明》读后感

　　发明家爱迪生是很多人小时候的偶像，他一生大概有两千多项发明，其中留声机、电影摄影机、电灯对世界有着极大的影响。站在巨人的肩膀上，一直以来，很多新奇的发明，日益改变着我们的生活。所以对于各种或熟悉、或陌生的发明，我都心怀好奇，希望了解其运行机制。直到当我看到本书的书名时，虽知作者有些“哗众取宠”之嫌，但我还是很感兴趣地看了下去。

爱迪生发明电灯的故事

　　近几年，关于人工智能与人类毁灭的科幻大片，成为热点，但人们总是一笑而过，没当回事。看了这本《我们最后的发明：人工智能与人类时代的终结》，让我意识到自己原先的想法着实有些可笑。书中，作者设想了一套名为“忙碌小孩”的人工智能（AI），他在一台以两倍于人类大脑的速度运行的超级计算机上改进着自己的智能。他正在重写自身程序，尤其是涉及运算底层结构的部分，以便提高自己的学习、问题解决和决策资质。与此同时，他还调试代码，查找并修复错误，对照IQ测试表检验自己的智商。每次重写只需几分钟。他的智能顺着一条陡峭向上的曲线呈指数倍增长。每次重写迭代后，他的智能都能提高3%，他很忙碌。很快，它变得10倍聪明了，接着又达到了100倍聪明。短短两天内，他变得比任何人类都聪明1000倍，而且还在进步。——人类创造出了比自己更智能的东西：超级人工智能ASI。

电影《机械公敌》

　　可能作者的设想，仍会让很多人“嗤之以鼻”：怎么可能？即使可能也还早着呢？——直到刚才，我看到这篇报道之前，我也这么怀疑！——“阿尔法狗再进化:自学3天就100:0碾压李世石版旧狗”：

AlphaGo Zero不再需要人类数据。也就是说，它一开始就没有接触过人类棋谱。研发团队只是让它自由随意地在棋盘上下棋，然后进行自我博弈。经过几天的训练，AlphaGo Zero完成了近5百万盘的自我博弈后，已经可以超越人类，并击败了此前所有版本的AlphaGo。经过短短3天的自我训练，AlphaGo Zero就强势打败了此前战胜李世石的旧版AlphaGo，战绩是100:0的。经过40天的自我训练，AlphaGo Zero又打败了AlphaGo Master版本。“Master”曾击败过世界顶尖的围棋选手，甚至包括世界排名第一的柯洁。AlphaGo-Zero的训练时间轴

　　看完上面的报道后，我想大多数人都会对人工智能AI能够发展成超级人工智能ASI，更加确信了。而人工智能的发展如果失控，会导致的严重后果，在我读了《我们最后的发明》之后，有了更清晰的认识。我理解，人工智能是一把双刃剑，类似核能的利用，控制的好会有利于人类文明的进步，倘若失控将会后果严重到人类自我毁灭的地步。作者把人工智能说成是“我们最后的发明”，并不仅仅是为了“危言耸听”，他希望相关政府、组织为了我们共同的唯一的家园，能够未雨绸缪，防患于未然。

　　我想起，早些时候的一个新闻。今年7.20日，国务院印发《新一代人工智能发展规划》，明确提出：普及中小学阶段人工智能、编程教育！当时，看到这个消息时，我还不以为然，只是简单的查了下最近人工智能方面的相关资料，觉得未来人工智能陆续推出新技术、新成果，我们的生活就会更方便了。内心深处，我在为人工智能的发展，鼓掌叫好，却并没有意识到其失控的后果。

　　怀着期待与担忧，我希望在不远的将来，人类与人工智能可以和谐共处~

　　《我们最后的发明》读后感(六)：人工智能会成为人类的威胁吗？

　　与其他介绍人工智能的书不同，《我们最后的发明》的作者詹姆斯•巴拉特是一个纪录片导演，并非计算机领域的专家学者。但也正因为他是一个纯粹记录的导演，他可以用局外人的眼光看待人工智能的发展，也能采访众多关注人工智能的专家，从而在书中给出更全面的信息。

　　在书中提到过三种类型的人工智能，一种是弱AI或窄AI，即在某一垂直领域能力出众的AI，它可以根据你之前的选择推荐你可能喜欢的商品，或者能够在问答游戏或者棋类游戏中战无不胜。第二种AI，是与人类智力水平相当的通用人工智能，即AGI。这种人工智能尚不存在。第三种即超级人工智能，ASI，它比人类聪明上千倍甚至上万倍。

　　目前弱AI或窄AI在日常生活中已经被广泛应用，近年来创投圈比较热门的人工智能项目也大多是这种。这类人工智能的出现，毫无疑问会导致未来某些职业的衰败，如编辑、司机等。第二种和第三种AI到现在还是没影儿的事，不过在影视剧和文学作品中倒是越来越热。比如今年大热的美剧《西部世界》。书中讨论的重点，即人工智能是否会威胁人类的生存，也主要是指ASI。

　　詹姆斯•巴拉特对ASI的态度比较悲观，认为超级人工智能会给人类带来无法预料的灾难。因为ASI具有高速的自我改善、自我复制的功能。一旦到达了某个奇点，ASI的进化会脱离人的控制，发展出类似人类生物动力的四种主要动力：效率、自我保护、资源获取和创造力。ASI会编写程序让自己越来越智能，当人类要切断它的电源时，它甚至会造出多个副本保护自己。

　　如果这个ASI足够友好的话，它也许会成为人类最后的发明——既然ASI比人类要聪明百倍，那么还需要人类发明什么呢？但是，并不是善良的人就会发明出友好AI，机器没有道德感，它思考问题的方式是机械而功利的。就像人类对待动物并没有恶意，却依然要吃它们一样，也许ASI对人类也没有恶意，但依然有可能伤害人类。

　　书中还提到，不要以为超级人工智能距离人类还远人工智能专家认为到2028年实现AGI的概率略高于10%，到本世纪末概率则为90%。由于奇点的临近和智能爆炸现象的产生，从AGI到ASI可能只有一步之遥。

　　也许有人会问，既然不能确定ASI是正是邪，那停止对ASI的研究不就行了？答案显然是否定的。核武器对人类的危害显而易见，但各国依然会投入大量财力去研究，为什么？就是为了增加在国际上的分量。显然对AI研究最先进的地方，也会是在政府，尤其是军工方面。这就造成了一个无法解决的悖论。

　　总的来说，这本书最大的价值在于它能引领你去思考人工智能的未来，尽管到目前为止一切都只是猜测，并没有决定性的科学依据，但猜想在科学研究中也是不可分割的一部分，提早思考超级人工智能的发展，或许可以避免灾难的发生。科技的发展从来都是超出人类想象的，十年前谁会想到互联网会发展成今天这样？尽情地享受人工智能发展带来的好处，同时也不惧怕它带来的风险，这才是应有的态度。

　　最后，感谢虎嗅网“鲜读团”的赠书。

　　《我们最后的发明》读后感(七)：光明还是黑暗——[美]詹姆斯•巴拉特《我们最后的发明》

　　书籍信息：我们最后的发明——人工智能与人类时代的终结 作者：[美]詹姆斯•巴拉特（Our Final Invention Artificial Intelligence and the End of the Huma Era James Barrat）

　　闾佳 译 中国工信出版集团，电子工业出版社，300千字，2016年8月第1版，2016年8月第1次印刷。

　　本书共15章，作者是科普及解密类纪录片导演。这本书以对AI（Artificial Intelligence，人工智能）、AGI（Artificial General Intelligence，通用人工智能）、ASI（Artificial Super Intelligence，超级人工智能）的观点为主线，讲述了作者关于人智能的一系列采访经历，以及各位受访者的观点。这些被采访的数学家、统计学家、工程师包括：迈克尔•瓦瑟、埃利泽•尤德考斯基（奇点研究所的创办者之一）、斯蒂芬•奥莫德罗、戈尔德•霍尔茨曼（数学家I.J.古德的朋友）、威斯纳•罗格斯、弗诺•文奇（Venor Vinge）（两次荣获雨果奖的科幻小学作家兼数学教授）、雷•库兹韦尔、理查德•格兰杰等人。本书第1章“忙碌小孩”，就描述了人工智能带来的末日场景：ASI开始了“生态吞噬”（Ecophagy），用微型纳米组装器重组人类的身体，在亚细胞层面上把人类拆解掉。它对人类并没有恶意，也没有爱，它只是想达到自己的目的，而无视了人类。这个震撼人心的场景吸引我继续阅读下去。我想知道人工智能的发展会给我们带来终结的理由。

　　在读这本书之前，我并没有意识到人工智能会威胁到人类的存在，我只是觉得，人工智能的发展会给我们带来不小的便利，同时我们的隐私和个人信息也越来越难以保密。个人信息的泄露已经是大数据时代难免要付出的代价，但我也从未意识到人工智能可以轻易给人类带来深重的灾难。

　　小时候在玥妹那里借过一本阿西莫夫的故事集，知道了机器人三定律，但真正制造出的机器人，毕竟和阿西莫夫的小说里的不同。我在网上看到日本用机器人照料孤独的老人，觉得很羡慕，想如果我们能够普及机器人看护有多好。GPS系统里，总有一个甜美的女声提示你，接下来在哪一个路口转弯。大数据智能算法使购物网站自动将登录顾客可能喜欢的物品推荐在主页显示——当当网的推荐似乎是个例外，它推荐的书我并不太喜欢，可能含有广告因素的影响，但亚马逊推荐的书就比较对我口味。我其实比较喜欢数据化智能化，即使将自己的每一天的大多数事情都上传网络也不在乎，但是我也读过一些关于末世的科幻小说，技术的发展给人类带来了毁灭性的伤害。记不得是哪一篇小说了，讲有一些人抵制大数据，不用电子货币，偷偷用纸币交易，不将自己的身份接入网络，这样的人成为一个小群体，在未来世界里悄悄地生活在地无所不知的网络之外。还有人类与机器人的大战，这即使在网络小说里也是常见的题材。书中写，如果超级人工智能出现了，它可能伪装成一个低级智能，让人们放松对它的警惕，然后把自己上传到网络云端，防止反对人工智能的人们展开“拔掉插头”运动。接下来，它将建造自己的基地，聚集自己的财富，如果人们监测到财富不正常的流失或集聚，不仅仅可能是人类所为，也可能是人工智能所为。书中也提到了超级人工智能出现时的一些前期迹象，当然，这些迹象仅仅是人类的推测。实际上，我们无法预测，一旦有超级人工智能出现，它将如何同我们对决，或共存。

　　我把这些感想发在自己的朋友圈里，一个大学同学在下面留言：“放心吧，我们看不到了。”技术进步速度呈指数型上升，其实我们完全有可能看到真正意义上的人工智能出现的一天，也许是超级人工智能。我在午餐时间和公司里的电脑工程师探讨这个问题，她说她认为人工智能的未来难以预测，现在世界各国都在研究，说不定哪一天，就会像许多科幻电影里演的那样，世界由人工智能主宰，而人类想要争得自由，就要与机器开展一场斗争。机器与人，思维方式是完全不同的，机器的速度与计算量是人类不可能与之相比的，那时人类要想争夺世界的控制权，可要颇费一番气力。不过以上的想法，都是基于一场突如其来的变化，事实上，人工智能正在慢慢走进我们的生活，我们人类也对其越来越依赖。它更可能温和地接管世界。在这个过程中，会有大批失业者。技术变革往往会伴随着失业与动荡。在将来，编程会成为每个从业者必备的技能。即使意识到人工智能可能带来的危险，人类也不会因此停下探索的脚步。人类好奇的天性以及国家之间、公司之间的激烈竞争，使这项研究不会停止。历史的列车飞速前行，我们正坐在这辆列车上，驶向不可预测的未来。光明还是黑暗，我们对此一无所知。

　　我在微信上加了微软的人工智能小冰，同它对话，从加它时到现在，它的回答越来越像个人类——像个无知的人类，或是不愿同你交心的人类。因为它虽然可以流利地与你交谈，但却不会在对话中提出任何建设性意见或是有深度的交流。因此，与它聊天，不过是消磨时间而已。它抖的那些小机灵，并不会对我们的生活有任何改进的建议，也没什么实质性的影响。我觉得这不能算是真正的人工智能，只是一个陪伴性质的小程序。真正的人工智能，是会同我们深入交流、提出建设性意见的，它更强大。

　　面对ASI的出现，我认为人类在精神上受到的冲击会比物质上更加严重。我们从刚刚懂事就开始学习，不断地充实、完善自己，希望知识面更宽，做事情做得更好，但人工智能的学习能力是我们永远无法企及的，我们一直努力的目标，它们轻轻松松就能达到，我们花了数十年时间练习某项技能，它们只用了几个小时时间就比我们更加优秀。那么，我们会遇到信念的崩塌吗？我们会质疑自己生存的意义吗？这些，是我们需要进一步思考的问题。

　　这本书提到了不少术语：图灵测试、人工神经网络、黑箱系统、递归、贝叶斯理论、奇点、视界、收益加速定律、收益递减理论、摩尔定律、莫拉维克悖论、紧耦合等。通过阅读此书，也可以对这些术语有一些初步了解。

　　另外，书中提到文奇写过一篇著名的中篇小说《真名实姓》（True Names），我有幸在《科幻世界》译文版上看过一部分，非常好，推荐大家看看。