|
蓝星新时代网 | 版权所有 | 联系信箱及支付宝 fozairenjian#126.com （使用时#改@） 本站域名 www.lxxsd.cn 豫ICP备08106469号-4 站内
|
|
人工智能很可能导致人类的永生或者灭绝，而这一切很可能在我们的有生之年发生。
作者：@谢熊猫君 上面这句话不是危言耸听，请耐心的看完本文再发表意见。这篇翻译稿翻译完一 共三万五千字，我从上星期开始翻，熬了好几个夜才翻完，因为我觉得这篇东西非
常有价值。希望你们能够耐心读完，读完后也许你的世界观都会被改变。
看不到曲线的右边的，因为你是看不到未来的。所以你真实的感觉大概是这样的： 交通主要靠动物拉着跑。你在那个时代邀请了一个叫老王的人到2015年来玩，顺 便看看他对“未来”有什么感受。我们可能没有办法了解1750年的老王内心的感 受——金属铁壳在宽敞的公路上飞驰，和太平洋另一头的人聊天，看几千公里外 正在发生进行的体育比赛，观看一场发生于半个世纪前的演唱会，从口袋里掏出一 个黑色长方形工具把眼前发生的事情记录下来，生成一个地图然后地图上有个蓝点 告诉你现在的位置，一边看着地球另一边的人的脸一边聊天，以及其它各种各样的 黑科技。别忘了，你还没跟他解释互联网、国际空间站、大型强子对撞机、核武器
以及相对论。
很可能直接被吓尿了。 吓尿来满足一下自己，那会发生什么？于是老王也回到了250年前的1500年，邀请 生活在1500年的小李去1750年玩一下。小李可能会被250年后的很多东西震惊，但是 至少他不会被吓尿。同样是250来年的时间，1750和2015年的差别，比1500年和1750 年的差别，要大得多了。1500年的小李可能能学到很多神奇的物理知识，可能会惊讶 于欧洲的帝国主义旅程，甚至对于世界地图的认知也会大大的改变，但是1500年的小
李，看到1750年的交通、通讯等等，并不会被吓尿。 到公元前12000年，第一次农业革命之前。那个时候还没有城市，也还没有文明。一个 来自狩猎采集时代的人类，只是当时众多物种中的一个罢了，来自那个时代的小赵看到 1750年庞大的人类帝国，可以航行于海洋上的巨舰，居住在“室内”，无数的收藏品，
神奇的知识和发现——他很有可能被吓尿。 小钱，然后给他展示公元前12000年的生活会怎样呢。小钱大概会觉得小赵是吃饱了没 事干——“这不跟我的生活差不多么，呵呵”。小赵如果要把人吓尿，可能要回到十万
年前或者更久，然后用人类对火和语言的掌控来把对方吓尿。 所需的年代间隔是不一样的。在狩猎采集时代满足一个吓尿单位需要超过十万年，而工
业革命后一个吓尿单位只要两百多年就能满足。 Returns）。之所以会发生这种规律，是因为一个更加发达的社会，能够继续发展的能 力也更强，发展的速度也更快——这本就是更加发达的一个标准。19世纪的人们比15
世纪的人们懂得多得多，所以19世纪的人发展起来的速度自然比15世纪的人更快。 在1985年的主角回到了1955年。当主角回到1955年的时候，他被电视刚出现时的新颖、
便宜的物价、没人喜欢电吉他、俚语的不同而震惊。 左右出生的人，回到一个没有个人电脑、互联网、手机的1985年，会比从1985年回到1955
年的主角看到更大的区别。 发展速度要快，因为1985年的世界比1955年的更发达，起点更高，所以过去30年的变化要
大过之前30年的变化。 —2000年的发展速度是20世纪平均发展速度的5倍。他认为2000年开始只要花14年就能达 成整个20世纪一百年的进步，而之后2014年开始只要花7年（2021年），就能达到又一 个20世纪一百年的进步。几十年之后，我们每年都能达成好几次相当于整个20世纪的发展， 再往后，说不定每个月都能达成一次。按照加速回报定，Kurzweil认为人类在21世纪的
进步将是20世纪的1000倍。
单位可能只需要十几年，而2050年的世界会变得面目全非。
聪明很多的科学家们相信的，而且从历史来看，也是逻辑上可以预测的。
让你质疑对于未来的预测： 发生的事情。当我们考虑21世纪能产生的变化的时候，我们参考的是20世纪发生的变化。这 就好像1750年的老王觉得1500年的小李在1750年能被吓尿一样。线性思考是本能的，但是 但是考虑未来的时候我们应该指数地思考。一个聪明人不会把过去35年的发展作为未来35年 的参考，而是会看到当下的发展速度，这样预测的会更准确一点。当然这样还是不够准确，
想要更准确，你要想象发展的速度会越来越快。 分够短，看起来也是很线性的，就好像你截取圆周的很小一块，看上去就是和直线差不多。
其次，指数增长不是平滑统一的，发展常常遵循S曲线。 究竟有多快速。1995-2007年是互联网爆炸发展的时候，微软、谷歌、脸书进入了公众视野 ，伴随着的是社交网络、手机的出现和普及、智能手机的出现和普及，这一段时间就是S曲 线的快速增长期。2008-2015年发展没那么迅速，至少在技术领域是这样的。如果按照过 去几年的发展速度来估计当下的发展速度，可能会错得离谱，因为很有可能下一个快速增
长期正在萌芽。 发展的速度烙印在了我们脑中——“发展就是这么个速度的。”我们还会受限于自己的想象 力，因为想象力通过过去的经验来组成对未来的预测——但是我们知道的东西是不足以帮助 我们预测未来的。当我们听到一个和我们经验相违背的对于未来的预测时，我们就会觉得这 个预测偏了。如果我现在跟你说你可以活到150岁，250岁，甚至会永生，你是不是觉得我 在扯淡——“自古以来，所有人都是会死的。”是的，过去从来没有人永生过，但是飞机
发明之前也没有人坐过飞机呀。 果我们是真的从历史规律来进行逻辑思考的，我们的结论就应该是未来的几十年将发生比 我们预期的多得多得多得多的变化。同样的逻辑也表明，如果人类这个地球上最发达的物 种能够越走越快，总有一天，他们会迈出彻底改变“人类是什么”这一观点的一大步，就 好像自然进化不不断朝着智能迈步，并且最终迈出一大步产生了人类，从而完全改变了其 它所有生物的命运。如果你留心一下近来的科技进步的话，你会发现，到处都暗示着我们
对于生命的认知将要被接下来的发展而彻底改变。
讨论这个问题，你可能也会困惑。这种困惑是有原因的：
是虚构的，那些电影角色也是虚构的，所以我们总是觉得人工智能缺乏真实感。
的重大变革，人工智能可以用来描述很多东西，所以人们会有疑惑。 在1956年最早使用了人工智能（Artificial Intelligence）这个词。他总是抱怨“一旦一样东西
用人工智能实现了，人们就不再叫它人工智能了。” 现实。同时，这种效应也让人们觉得人工智能是一个从未被实现过的流行理念。Kurzweil提到 经常有人说人工智能在80年代就被遗弃了，这种说法就好像“互联网已经在21世纪初互联网泡
沫爆炸时死去了”一般滑稽。 ，有时候不是，但是人工智能自身只是机器人体内的电脑。人工智能是大脑的话，机器人就是 身体——而且这个身体不一定是必需的。比如说Siri背后的软件和数据是人工智能，Siri说话的
声音是这个人工智能的人格化体现，但是Siri本身并没有机器人这个组成部分。 的情况，这种情况下通常的规律就不适用了。这种说法同样被用在物理上来描述无限小的高密 度黑洞，同样是通常 的规律不适用的情况。Kurzweil则把奇点定义为加速回报定律达到了极限，技术进步以近乎无限 的速度发展，而奇点之后我们将在一个完全不同的世界生活的。但是当下的很多思考人工智能
的人已经不再用奇点这个说法了，而且这种说法很容易把人弄混，所以本文也尽量少用。
大类。 如有能战胜象棋世界冠军的人工智能，但是它只会下象棋，你要问它怎样更好地在硬盘上储存
数据，它就不知道怎么回答你了。 面都能和人类比肩的人工智能，人类能干的脑力活它都能干。创造强人工智能比创造弱人工智 能难得多，我们现在还做不到。Linda Gottfredson教授把智能定义为“一种宽泛的心理能力， 能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作
。”强人工智能在进行这些操作时应该和人类一样得心应手。 超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和 社交技能。”超人工智能可以是各方面都比人类强一点，也可以是各方面都比人类强万亿倍的。 超人工智能也正是 为什么人工智能这个话题这么火热的缘故，同样也是为什么永生和灭绝这两个词会在本文中多
次出现。 ，通过强人工智能，最终到达超人工智能的旅途。这段旅途中人类可能会生还下来，可能不会
，但是无论如何，世界将变得完全不一样。
想的要近得多。 歌正在测试的无人驾驶车，就包括了很多弱人工智能，这些弱人工智能能够感知周围环境并作
出反应。
气，和Siri聊天，以及其它很多很多应用，其实都是弱人工智能。 且它会学习并且根据你的使用而获得经验。智能室温调节也是一样，它能根据你的日常习惯来
智能调节。 工智能的组成的，弱人工智能联网互相沟通，利用你的信息来进行推荐。网购时出现的“买这 个商品的人还购买了”推荐，其实就是收集数百万用户行为然后产生信息来卖东西给你的弱人工 智能。
这两种智能的合作，使得你能对着手机说中文，手机直接给你翻译成英文。
是一个人类决定的。
事同样是这样。 ）等领域广泛运用各种复杂的弱人工智能。专业系统也有，比如帮助医生诊断疾病的系统，还 有著名的IBM的华生，储存了大量事实数据，还能理解主持人的提问，在竞猜节目中能够战胜 最厉害的参赛者。
单独的灾难，比如造成停电、核电站故障、金融市场崩盘等等。 加庞大和复杂的弱人工智能的生态。每一个弱人工智能的创新，都在给通往强人工智能和超人 工智能的旅途添砖加瓦。用Aaron Saenz的观点，现在的弱人工智能，就是地球早期软泥中的氨
基酸——没有动静的物质，突然之间就组成了生命。 可思议。造摩天大楼、把人送入太空、明白宇宙大爆炸的细节——这些都比理解人类的大脑，
并且创造个类似的东西要简单太多了。至今为止，人类的大脑是我们所知宇宙中最复杂的东西。
十亿美元在做，还没做出来。
类，但是在那些人类和其它动物不需要思考就能完成的事情上，还差得很远。” 单，因为它们已经在动物进化的过程中经历了几亿年的优化了。当你举手拿一件东西的时候 ，你肩膀、手肘、手腕里的肌肉、肌腱和骨头，瞬间就进行了一组复杂的物理运作，这一切 还配合着你的眼睛的运作，使得你的手能都在三维空间中进行直线运作。对你来说这一切轻 而易举，因为在你脑中负责处理这些的“软件”已经很完美了。同样的，软件很难识别网站
的验证码，不是因为软件太蠢，恰恰相反，是因为能够读懂验证码是件碉堡了的事情。 化这些能力，所以电脑很轻易的就击败了我们。试想一下，如果让你写一个程序，是一个能 做大数相乘的程序容易
写，还是能够识别千千万万种字体和笔迹下书写的英文字母的程序难写？
个大长方形。 述出2D的阴影细节，但是人脑却能够把这些阴影所展现的深度、阴影混合、房屋灯光解读出来。
理解更高深的东西，比如微小的脸部表情变化，开心、放松、满足、满意、高兴这些类
似情绪间的区别，以及为什么《布达佩斯大饭店》是好电影，而《富春山居图》是烂电影。
人脑一般聪明，它至少要能达到人脑的运算能力。
人脑的cps只要了解人脑中所有结构的最高cps，然后加起来就行了。 做乘法，来得出人脑的cps。听起来不太靠谱，但是Kurzweil用了对于不同大脑区域的专
业估算值，得出的最终结果都非常类似，是10^16 cps，也就是1亿亿次计算每秒。 进行3.4亿亿。当然，天河二号占地720平方米，耗电2400万瓦，耗费了3.9亿美元建造。
广泛应用就不提了，即使是大部分商业或者工业运用也是很贵的。
买到人脑级别的1亿亿运算能力的时候，强人工智能可能就是生活的一部分了。 同样表明电脑硬件的发展和人类发展一样是指数级别的。我们用这个定律来衡量1000美
元什么时候能买到1亿亿cps。现在1000美元能买到10万亿cps，和摩尔定律的历史预测相符合。 平。听起来还是弱爆了，但是，让我们考虑一下，1985年的时候，同样的钱只能买到 人脑万亿分之一的cps，1995年变成了十亿分之一，2005年是百万分之一，而2015年已 经是千分之一了。按照这个速度，我们到2025年就能花1000美元买到可以和人脑运算
速度抗衡的电脑了。
就能以低廉的价格买到能够支持强人工智能的电脑硬件。
成人类水平的智能。 春山居图》是部烂片的阶段。但是，现在有一些策略，有可能会有效。下面是最常见的
三种策略： 也很努力的学习，但是你就是考的没有学霸好。最后你决定“老子不干了，我直接抄他的考 试答案好了。”这种“抄袭”是有道理的，我们想要建造一个超级复杂的电脑，但是我
们有人脑这个范本可以参考呀。 的估计是我们在2030年之前能够完成这个任务。一旦这个成就达成，我们就能知道为什 么人脑能够如此高效、快速的运行，并且能从中获得灵感来进行创新。一个电脑架构模 拟人脑的例子就是人工神经网络。它是一个由晶体管作为“神经”组成的网络，晶体管 和其它晶体管互相连接，有自己的输入、输出系统，而且什么都不知道——就像一个婴 儿的大脑。接着它会通过做任务来自我学习，比如识别笔迹。最开始它的神经处理和猜 测会是随机的，但是当它得到正确的回馈后，相关晶体管之间的连接就会被加强；如果 它得到错误的回馈，连接就会变弱。经过一段时间的测试和回馈后，这个网络自身就会 组成一个智能的神经路径，而处理这项任务的能力也得到了优化。人脑的学习是类似的 过程，不过比这复杂一点，随着我们对大脑研究的深入，我们将会发现更好的组建神经
连接的方法。 准确的组建一个3D模型，然后把这个模型装在强力的电脑上。如果能做成，这台电脑就能 做所有人脑能做的事情——只要让它学习和吸收信息就好了。如果做这事情的工程师够厉 害的话，他们模拟出来的人脑甚至会有原本人脑的人格和记忆，电脑模拟出的人脑就会像 原本的人脑一样——这就是非常符合人类标准的强人工智能，然后我们就能把它改造成一
个更加厉害的超人工智能了。 大脑含有302个神经元。人类的大脑有1000亿个神经元，听起来还差很远。但是要记住指 数增长的威力——我们已经能模拟小虫子的大脑了，蚂蚁的大脑也不远了，接着就是老鼠
的大脑，到那时模拟人类大脑就不是那么不现实的事情了。
备考的方法？ 如果大脑太难完全模拟，那么我们可以模拟演化出大脑的过程。事实上，就算我们真的能完 全模拟大脑，结果也就好像照抄鸟类翅膀的拍动来造飞机一样——很多时候最好的设计机器
的方式并不是照抄生物设计。 概是这样的：建立一个反复运作的表现/评价过程，就好像生物通过生存这种方式来表现，并 且以能否生养后代为评价一样。一组电脑将执行各种任务，最成功的将会“繁殖”，把各自 的程序融合，产生新的电脑，而不成功的将会被剔除。经过多次的反复后。这个自然选择的 过程将产生越来越强大的电脑。而这个方法的难点是建立一个自动化的评价和繁殖过程，使
得整个流程能够自己运行。 ——它产生的没用的变异比有用的变异多很多，但是人工模拟的演化可以控制过程，使其着 重于有益的变化。其次，自然演化是没有目标的，自然演化出的智能也不是它目标，特定环 境甚至对于更高的智能是不利的（因为高等智能消耗很多能源）。但是我们可以指挥演化的 过程超更高智能的方向发展。再次，要产生智能，自然演化要先产生其它的附件，比如改良 细胞产生能量的方法，但是我们完全可以用电力来代替这额外的负担。所以，人类主导的演
化会比自然快很多很多，但是我们依然不清楚这些优势是否能使模拟演化成为可行的策略。
想法很无厘头，确实最有希望的一种。 它就不只能改进自己的架构了，我们直接把电脑变成了电脑科学家，提高电脑的智能就变成
了电脑自己的任务。 类还信奉地心说的时候，科学家们没法计算宇宙的运作方式，但是日心说的发现让一切变 得容易很多。创造一个能自我改进的电脑来说，对我们来说还很远，但是可能一个无意的
变动，就能让现在的系统变得强大千倍，从而开启朝人类级别智能的冲刺。
生活在一起。 元1000万倍的速度运行，而这比我们达成强人工智能需要的硬件还差远了。大脑的内部信
息传播速度是每秒120米，电脑的信息传播速度是光速，差了好几个数量级。 秒120米的信息传播速度也会成为巨大的瓶颈。电脑的物理大小可以非常随意，使得电脑能
运用更多的硬件，更大的内存，长期有效的存储介质，不但容量大而且比人脑更准确。
萎缩（真的坏了也很好修）。人脑还很容易疲劳，但是电脑可以24小时不停的以峰值速度运作。 正，并且很容易做测试。电脑的升级可以加强人脑比较弱势的领域——人脑的视觉元件很发 达，但是工程元件就挺弱的。而电脑不但能在视觉元件上匹敌人类，在工程元件上也一样可
以加强和优化。 字和印刷的发明，再到互联网的普及。人类的集体智能是我们统治其它物种的重要原因之一。 而电脑在这方面比我们要强的很多，一个运行特定程序的人工智能网络能够经常在全球范围内 自我同步，这样一台电脑学到的东西会立刻被其它所有电脑学得。而且电脑集群可以共同执行
同一个任务，因为异见、动力、自利这些人类特有的东西未必会出现在电脑身上。 碑，但是也就仅此而已了。它不会停留在这个里程碑上的。考虑到强人工智能之于人脑的种 种优势，人工智能只会在“人类水平”这个节点做短暂的停留，然后就会开始大踏步向超人
类级别的智能走去。 是动物智能的共同特点是比人类低很多；b)我们眼中最聪明的人类要比最愚笨的人类要聪明很
很很很多。 像一个动物一般。然后，它突然达到了最愚笨的人类的程度，我们到时也许会感慨：“看
这个人工智能就跟个脑残人类一样聪明，真可爱。” 差距，其实是不大的。所以当人工智能达到了脑残级别的智能后，它会很快变得比爱因斯
坦更加聪明： ——是一大群受人尊敬的思想家和科学家关于未来的诚实的预测。你在下面读到什么离谱
的东西的时候，要记得这些东西是比你我都聪明很多的人想出来的。 但是一旦它达到了强人工智能，即使算上那一小部分不是通过自我改进来达成强人工智能
的系统，也会聪明到能够开始自我改进。 定智能水平的人工智能，比如说脑残人类水平，有自我改进的机制。当它完成一次自我改 进后，它比原来更加聪明了，我们假设它到了爱因斯坦水平。而这个时候它继续进行自我 改进，然而现在它有了爱因斯坦水平的智能，所以这次改进会比上面一次更加容易，效果 也更好。第二次的改进使得他比爱因斯坦还要聪明很多，让它接下来的改进进步更加明显。 如此反复，这个强人工智能的智能水平越长越快，直到它达到了超人工智能的水平——这
就是智能爆炸，也是加速回报定律的终极表现。 调查显示他们认为强人工智能出现的中位年份是2040年——距今只有25年。这听起来可能没 什么，但是要记住，很多这个领域的思想家认为从强人工智能到超人工智能的转化会快得多 。以下的情景很可能会发生：一个人工智能系统花了几十年时间到达了人类脑残智能的水平 ，而当这个节点发生的时候，电脑对于世界的感知大概和一个四岁小孩一般；而在这节点后
一个小时，电脑立马推导出了统一广义相对论和量子力学的物理学理论；而在这之后一个半小
时，这个强人工智能变成了超人工智能，智能达到了普通人类的17万倍。 语言中，我们把130的智商叫作聪明，把85的智商叫作笨，但是我们不知道怎么形容12952的 智商，人类语言中根本没这个概念。
超人工智能，一旦被创造出来，将是地球有史以来最强大的东西，而所有生物，包括人类，都只
能屈居其下——而这一切，有可能在未来几十年就发生。 脑说不定能够随时随地操纵这个世界所有原子的位置。那些在我们看来超自然的，只属于全能 的上帝的能力，对于一个超人工智能来说可能就像按一下电灯开关那么简单。防止人类衰老， 治疗各种不治之症，解决世界饥荒，甚至让人类永生，或者操纵气候来保护地球未来的什么，
这一切都将变得可能。同样可能的是地球上所有生命的终结。 人工智能到强人工智能是个很大的挑战，然后我们谈到了为什么技术进步的指数级增长表面强 人工智能可能并不那么遥远。第一部分的结束，我们谈到了一旦机器达到了人类级别的智能，
我们将见到如下的场景：
什么表情来面对。
超级智能的电脑，第一反应是它运算速度会非常非常快——就好像一个运算速度是人类百万倍
的机器，能够用几分钟时间思考完人类几十年才能思考完的东西 的质量而不是速度上。用人类来做比喻，人类之所以比猩猩智能很多，真正的差别并不是思考 的速度，而是人类的大脑有一些独特而复杂的认知模块，这些模块让我们能够进行复杂的语言 呈现、长期规划、或者抽象思考等等，而猩猩的脑子是做不来这些的。就算你把猩猩的脑子加 速几千倍，它还是没有办法在人类的层次思考的，它依然不知道怎样用特定的工具来搭建精巧
的模型——人类的很多认知能力是猩猩永远比不上的，你给猩猩再多的时间也不行。 些事情的存在——猩猩可以理解人类是什么，也可以理解摩天大楼是什么，但是它不会理解摩 天大楼是被人类造出来的，对于猩猩来说，摩天大楼那么巨大的东西肯定是天然的，句号。对 于猩猩来说，它们不但自己造不出摩天大楼，它们甚至没法理解摩天大楼这东西能被任何东西
造出来。而这一切差别，其实只是智能的质量中很小的差别造成的。
能差别是细微的。如果生物的认知能力是一个楼梯的话，不同生物在楼梯上的位置大概是这样的： 上的一个机器，它站的位置只比人类高两层，就好像人类比猩猩只高两层一样。这个机器只
是稍微有点超级智能而已，但是它的认知能力之于人类，就好像人类的认知能力之于猩猩一 样。就好像猩猩没有办法理解摩天大楼是能被造出来的一样，人类完全没有办法理解比人类 高两层台阶的机器能做的事情。就算这个机器试图向我们解释，效果也会像教猩猩造摩天大楼
一般。
之于蚂蚁一般——它就算花再多时间教人类一些最简单的东西，我们依然是学不会的。 能爆炸发生时，它可能要花几年时间才能从猩猩那一层往上迈一步，但是这个步子会越迈越快 ，到后来可能几个小时就能迈一层，而当它超过人类十层台阶的时候，它可能开始跳着爬楼梯
了——一秒钟爬四层台阶也未尝不可。所以让我们记住，当第一个到达人类智能水平的强人工 智能出现后，我们将在很短的时间内面对一个站在下图这样很高很高的楼梯上的智能（甚至比
这更高百万倍）： 说，我们是没有办法知道超人工智能会做什么，也没有办法知道这些事情的后果。任何假装 知道的人都没搞明白超级智能是怎么回事。
能，我们就是在碾压自然演化了。当然，可能这也是自然演化的一部分——可能演化真正的 模式就是创造出各种各样的智能，直到有一天有一个智能能够创造出超级智能，而这个节点
就好像踩上了地雷的绊线一样，会造成全球范围的大爆炸，从而改变所有生物的命运。 会面临两类可能的结果——永生和灭绝。
间，然后不可避免的跌落下生命的平衡木，跌入灭绝的深渊。 生物中99.9%都已经跌落了生命的平衡木，如果一个生物继续在平衡木上走，早晚会有一阵风 把它吹下去。Bostrom把灭绝列为一种吸引态——所有生物都有坠入的风险，而一旦坠入将没
有回头。 超人工智能可以帮助人类和其它物种，达到另一个吸引态——永生。Bostrom认为物种的永生 和灭绝一样都是吸引态，也就是我一旦我们达成了永生，我们将永远不再面临灭绝的危险—— 我们战胜了死亡和几率。所以，虽然绝大多数物种都从平衡木上摔了下去灭绝了，Bostrom认为
平衡木外是有两面的，只是至今为止地球上的生命还没聪明到发现怎样去到永生这另一个吸引态。
需要接受两个事实：
落入其中一个吸引态
世界，不管这时人类还是不是存在。
哪个吸引态？” 科学家Ben Goertzel，SUN创始人Bill Joy，发明家和未来学家Ray Kurzweil，认同机器学习专
家Jeremy Howard的观点，Howard在TED演讲时用到了这张图：
展缓慢，但是在未来几十年就会变得飞快。 以及科技创业者Mitch Kapor认为Kurzweil等思想家低估了人工智能的难度，并且认为我们离绊 线还挺远的。
些1985年时候看到发展速度缓慢的因特网，然后觉得因特网在未来不会有什么大影响的人一样。
指数级增长抵消了。
他们同时认为 a) 这事情完全可能发生在不久的未来 b)但是这个事情没个准，说不定会花更久
就没有什么绊线。超人工智能是不会被实现的。 测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有1 0%的可能在这一年达成），正常估计（有50%的可能达成），和悲观估计（有90%可能达成）。
当把大家的回答统计后，得出了下面的结果： 观估计表明，如果你现在够年轻，有一半以上的人工智能专家认为在你的有生之年能够有90 %的可能见到强人工智能的实现。
问了参与者认为强人工智能哪一年会实现，选项有2030年，2050年，2100年，和永远不会实
现。结果是： 能会在2050年实现，有近乎半数（42%）的人认为未来15年（2030年）就能实现。并且，只
有2%的参与者认为强人工智能永远不会实现。 达成强人工智能30年内。问卷结果如下：
成的可能性高达75%
所以，我们可以得出，现在全世界的人工智能专家中，一个中位的估计是我们会在2040年达 成强人工智能，并在
20年后的2060年达成超人工智能——也就是踩上了绊线。 诉我们的是，很大一部分对这个领域很了解的人认为2060年是一个实现超人工智能的合理预 测——距今只有45年。
量的人会怎么做？ 于人类社会的影响时，52%认为结果会是好或者非常好的，31%认为会是糟糕的或者非常糟 糕的，只有17%的人认为结果会是不好不坏的。也就是说，这个领域的专家普遍认为这将是一 个很大的事情，不论结果好坏。要注意的是，这个问题问的是强人工智能，如果问的是超人工
智能，认为结果不好不坏的人可能不会有17%这么多。
结果综合起来画张表，这代表了大部分专家的观点： 是怎么想的，因为我开始研究这个问题前也是这样的想的。很多人其实不关心这个话题，原
因无非是： 的课题。作家James Barrat把这比作传染病控制中心发布吸血鬼警报一样滑稽。
科学家们就已经常在讨论因特网将是多么重要，但是一般人并不会认为因特网会改变他们的
生活——直到他们的生活真的被改变了。一方面，1988年的电脑确实不够给力，所以那时的人 们看着电脑会想：“这破玩意儿也能改变我的生活，你逗我吧？”人们的想象力被自己对于电 脑的体验而约束。让他们难以想象电脑会变成现在的样子。同样的事情正发生在人工智能领域 。我们听到很多人说人工智能将会造成很大影响，但是因为这个事情还没发生，因为我们和一 些弱爆了的人工智能系统的个人经历，让我们难以相信这东西真的能改变我们的生活。而这些 认知偏差，正是专家们在努力对抗的。
时间我都不会再存在”这个问题？虽然这个问题比你今天干的大部分事情都重要很多，但是正常 人都不会老是想这个吧。这是因为你的大脑总是关注日常的小事，不管长期来看有多少重要的 事
情，我们天生就是这么思考的。
确定线的交点上，目标也达到了。
事实上超过四分之三的专家都属于主流阵营中的两个小阵营：焦虑大道和信心角
实现他们的梦想，他们只需耐心等待。 很有信心永生是我们的发展方向。
让我们看看平衡木两边究竟有什么，并且记住这些事情是有可能发生的。如果我们给一个打猎 采集者看我们现在的舒适家居、技术、富庶，在他眼里这一切也会像魔法一样——我们也要
接受未来完全可能出现能把我们吓尿的变革。
一个更好的汽车引擎？”
定，比如发明一种比汽车更快、更便宜、更安全的交通模式。 一下吗？”这么简单。
，一些不可能的问题就变得简单了，如果走一大步，所有问题都变得简单了。” 属Ray Kurzweil.
立主义者，比如作家Douglas Hofstadter，他觉得Kurzweil的观点就好像把美食和狗屎混在一 起，让你分不清是好是坏。
明了很多东西，比如第一台平板扫描仪，第一台能把文字转化为语言的扫描仪（盲人使用）， 著名的Kurzweil音乐合成器（第一台真正意义上的电子钢琴），以及第一套商业销售的语音识
别系统。他是五本畅销书的作者。他很喜欢做大胆的预测，而且一直很准，比如他80年代末的 时候预测到2000年后因特网会成为全球级的现象。他被《华尔街日报》成为“不休的天才”， 被《福布斯》称为“终极思想机器”，被《Inc.》称作“爱迪生真正的传人”，被比尔盖茨称 为“我认识的对人工智能预测最厉害的人。”2012年谷歌创始人Larry Page曾邀请他担任谷歌 的工程总监，2011年他共同创立了奇点大学（Singularity University），现在大学由美国太空 总署运运营，由谷歌赞助。
疯，恰恰相反，他非常聪明而有知识。你可能觉得他对于未来的想法是错的，但是他不傻。 知道他是一个聪明人让我很开心，因为当我知道他对未来的预测后，我急切的很希望他的 预测是对的。信心角中的很多思想家都认同Kurzweil的预测，他也有很多粉丝，被称为奇点主
义者。
还会有一个完全不同的世界——奇点时代。他的人工智能时间线曾经被认为非常的狂热，现 在也还是有很多人这么认为，但是过去15年弱人工智能的快速发展让更多的专家靠近了Kurzweil
的时间线。虽然他的时间线比之前提到的2040年和2060年更加早，但是并没有早多少。 智能技术。
的领域
米的一百万分之一。1-100纳米这个范围涵盖了病毒（100纳米长），DNA（10纳米宽）， 大分子比如血红蛋白（5纳米），和中分子比如葡萄糖（1纳米）。当我们能够完全掌握纳米 技术的时候，我们离在原子层面操纵物质就只差一步了，因为那只是一个数量级的差距（
约0.1纳米）。 里。如果一个人身高431公里，也就是他站着能够顶到国际空间站的话，他将是普通人类的
25万倍大。如果你把1-100纳米放大25万倍，你算出的是0.25毫米-25毫米。所以人类使用纳米 技术，就相当于一个身高431公里的巨人用沙子那么大的零件搭精巧的模型。如果要达到原子
级别操纵物质，就相当于让这个431公里高的巨人使用0.025毫米大的零件。 的原理，并不认为在原子级别操纵物质是不可能的。原则上来说，物理学家能够制造出任何化
学家能写出来的物质——只要把一个个原子按照化学家写出来的放在一起就好了。”其实就是
这么简单，所以我们只要知道怎样移动单个的分子和原子，我们就可以造出任何东西。 装机的工作原理是这样的：一个牛逼扫描仪扫描物件的3D原子模型，然后自动生成用来组装的 软件。然后由一台中央电脑和数万亿的纳米“机器人”，通过软件用电流来指挥纳米机器人，最后
组成所需要的物件。
造可以自我复制的范本，然后让指数级增长来完成建造任务。很机智吧？ 器人，但这也是它可怕的地方——如果系统出故障了，指数级增长没有停下来，那怎么办？ 纳米机器人将会吞噬所有碳基材料来支持自我复制，而不巧的是，地球生命就是碳基的。地球 上的生物质量大概包含10^45个碳原子。一个纳米机器人有10^6个碳原子的话，只需要10^3 9个纳米机器人就能吞噬地球上全部的生命了，而2^130约等于10^39，也就是说自我复制只要 进行130次就能吞噬地球生命了。科学家认为纳米机器人进行一次自我复制只要100秒左右，也 就是说一个简单的错误可能就会在3.5小时内毁灭地球上全部的生命。 更糟糕的是，如果恐怖分子掌握了纳米机器人技术，并且知道怎么操纵它们的话，他可以先造 几万亿个纳米机器人，然后让它们散播开来。然后他就能发动袭击，这样只要花一个多小时纳米
机器人就能吞噬一切，而且这种攻击无法阻挡。未来真的是能把人吓尿的。
红细胞、癌症细胞摧毁者、肌肉纤维等等。而在纳米技术的世界里，一个物质的成本不再取决于 它的稀缺程度或 是制造流程的难度，而在于它的原子结构有多复杂。在纳米技术的时代，钻石可能比橡皮擦还 便宜。
但是我们看上去离那并不遥远。Kurzweil预测我们会在21世纪20年代掌握这样的技术。各国政 府知道纳米技术将能改变地球，所以他们投入了很多钱到这个领域，美国、欧盟和日本至今已
经投入了50亿美元。
纳米技术是我们在研究的玩意儿，而且我们就快掌握这项技术了，而我们能做的一切在超人工 智能看来就是小儿科罢了，所以我们要假设超人工智能能够创造出比这要发达很多很多的技术
，发达到我们的大脑都没有办法理解。 高估会发生什么。所以就算下面对于超人工智能的预测显得太不靠谱，要记得这些进展可能是用
我们没有办法想象的方法达成的。事实上，我们的大脑很可能根本没法预测将会发生什么。 候变暖？超人工智能可以用更优的方式产生能源，完全不需要使用化石燃料，从而停止二氧 化碳排放。然后它能创造方法移除多余的二氧化碳。癌症？没问题，有了超人工智能，制药
和健康行业将经历无法想象的革命。世界饥荒？超人工智能可以用纳米技术直接搭建出肉来 ，
而这些搭建出来的肉和真肉在分子结构上会是完全相同的——换句话说，就是真肉。 物分配到世界各地。这对于动物也是好消息，我们不需要屠杀动物来获得肉了。而超人工智 能在拯救濒危物种和利用DNA复活已灭绝物种上面也能做很多事情。超人工智能甚至可以解 决复杂的宏观问题——我们关于世界经济和贸易的争论将不再必要，甚至我们对于哲学和道
德的苦苦思考也会被轻易的解决。 成永生这个事情很可能在我们有生之年就能达成。研读人工智能让你重新审思对于所有事情的 看法，包括死亡这一很确定的事情。
并且养育后代到能够自己保护自己的年纪，那就够了——对演化来说，活30多岁完全够了，所
以额外延长生命的基因突变并不被自然选择所钟爱。这其实是很无趣的事情。
时间一样——它们一直向前，而我们没有办法阻止它们。 于物理学的研究已经让我们有足够的理论来说明这是不可能的。但是在生物领域我们还没发现 任何证据证明死亡是不可避免的。也就是说死亡不一定是不可避免的，生物学家早晚会发现造 成我们死亡的原因是什么，而死亡这个糟糕的‘病’就会被治好，而人类的身体也将不再只
是个暂时的容器。” 只是身体的组成物质用旧了。汽车开久了也会旧，但是汽车一定会衰老吗？如果你能够拥有完 美的修复技术、或者直接替换老旧的汽车部件，这辆车就能永远开下去。人体只是更加复杂而 已，本质上和汽车是一样的。
日常维修，替换死去的细胞等等。如果这项技术能够被完美掌握，这个流程（或者一个超人工 智能发明的更好的流程）将能使人的身体永远健康，甚至越活越年轻。一个60岁的人和一个30
岁的人身体上的区别只是物理上的，只要技术足够发达我们是能改变这种区别的。 的身体。就算是逐渐糊涂的大脑也可能年轻化，只要超人工智能足够聪明，能够发现不影响大脑 数据的方法来改造大脑就好了。一个90岁的失忆症患者可以走进“年轻机器”，再出来时就拥 有了年轻的大脑。这些听起来很离谱，但是身体只是一堆原子罢了，只要超人工智能可以操纵 各种原子结构的话，这就完全不离谱。 Kurzweil的思维继续跳跃了一下，他相信人造材料将越来越多的融入人体。最开始，人体器官将 被先进的机械器官所代替，而这些机械器官可以一直运行下去。然后我们会开始重新设计身体 ，比如可以用自我驱动的纳米机器人代替血红细胞，这样连心脏都省了。Kurzweil甚至认为我们 会改造自己的大脑，使得我们的思考速度比现在快亿万倍，并且使得大脑能和云存储的信息进行
交流。 认为我们可以对食物做同样的改造。纳米机器人可以负责把身体需要的营养物质传送到细胞中
，智能的将对身体不好的东西排出体外——就像一个食物避孕套一样。纳米技术理论家 Robert A. Freitas已经设计了一种红细胞的替代品，能够让人快速冲刺15分钟不需要呼吸— —那么超人工智能能对我们的身体能力做的改造就更加难以想象。虚拟现实将拥有新的意义 ——体内的纳米机器人将能控制我们从感官获得的信号，然后用别的信号替代他们，让我们进 入一个新的环境，在新环境里，我们能听、看、闻、触摸。。。
在太原始了，早年的人体居然是用这样的东西组成的，早期的人类居然会被微生物、意外、 疾病杀死。这就是Kurzweil眼中人类最终战胜自己的生理，并且变得不可摧毁和永生，这也是
平衡木的另一个吸引态。他深深的想象我们会达到那里，而且就在不久的将来。
的可能性受到了各种嘲笑——“书呆子的狂欢”、“高智商人士的创始论”等等。也有人质疑 他过于乐观的时间线，以及他对人脑和人体的理解程度，还有他将摩尔定于应用到软件上的做 法。有很多人相信他，但有更多人反对他。
不可能发生”，而是说“这些当然可能发生，但是到达超人工智能是很难的。”连经常提醒我
们人工智能的潜在威胁的Bostrom都这么说： 境毁灭、各种不必要的苦难，这些都是拥有纳米科技的超级智能能够解决的。而且，超级智能 可以给我们无限的生命，这可以通过停止或者逆转衰老来达成，也可以让我们上传自己的数据 。一个超级智能还能让我们大幅度提高智商和情商，还能帮助我们创造这种有趣的体验世界，让
我们享乐。 觉得Kurzweil是在说梦话，只是觉得我们首先要安全达成超人工智能。这也是为什么我觉得Kur zweil的观点很有传染性，他传达了正面的信息，而这些事情都是可能的——如果超人工智能是
个仁慈的神的话。 书《The Singularity is Near》700多页，只有20页用来讨论人工智能的危险。前面提到，当超 人工智能降临时我们的命运取决于谁掌握这股力量，以及他们是不是好人。Kurzweil的回答是“ 超人工智能正从多 方的努力中出现，它将深深的融入我们文明的基建中。它会亲密的被捆绑在我们的身体和大脑
中，它会反映我们的价值，因为它就是我们。”
工智能会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧？为什么马斯克会担心我们 是在召唤恶魔？为什么那么多专家担心超人工智能是对人类最大的威胁？这些站在焦虑大道上 的思想家，不认同Kurzweil对于人工智能的危险的粉饰。他们非常非常担心人工智能革命，他 们不关注平衡木下比较有趣的那一个吸引态，而是盯着平衡木的另一边，而他们看到的是可怕
的未来，一个我们未必能够逃离的未来。 起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我 们不会在设计时候防止坏事的发生吗？我们难道不能设立很多安全机制吗？再不济，难道我们 不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事
？我充满疑问，于是我开始了解聪明人们的想法。 紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们 认同极好和极坏两种可能，但是不确定究竟会是哪个。
《夺宝奇兵》中的这位少年： 安全逃出了山洞。当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的，很容
易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧。”
但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。科学家Danny Hillis 把这个比作“就好
像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造 什么鬼。”
猫 头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。
出了一个很恐怖的词——
是Bostrom的图表：
包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机： 别人来殖民的傻子。
比我们聪明很多的智能 不大。3则让他很害怕，他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小 部分是红色的，只有几个是黑色的。每次人类发明一些新东西，就相当于从罐中取出一个玻璃 球。大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规 模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的，这就是那些黑色玻 璃球。很明显的， 我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的 。比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上
黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。
老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性。 标？
掌握着怀有恶意的超人工智能。这会是什么样的情况呢？ 称作贾法尔情况。阿拉丁神灯故事中，坏人贾法尔掌握了一个精灵，特别让人讨厌。所以如果I SIS手下有一群工程师狂热的研发人工智能怎么办？或者说伊朗和朝鲜，机缘巧合，不小心造成 了人工智能的快速发展，达成了超人工智能怎么办？这当然是很糟糕的事，但是大部分专家认为 糟糕的地方不在于这些人是坏人，而在于在这些情况下，这些人基本上是不经思考就把超人工
智能造出来，而一造出来就失去了对超人工智能的控制。 恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为专家相信坏人
和好人在控制超人工智能时会面临一样的挑战。 智能的电影的剧情。人工智能变得和人类一样聪明，甚至更加聪明，然后决定对人类下手——这 里要指出，那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。邪恶是一个人类的 概念，把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法，因为没有哪个人
工智能会像电影里那样变成邪恶的。 嘲笑我们，甚至会嘲讽我们，它会声称感受到人类的情感，但是它是否真的能感受到这些东西呢 ？它究竟是看起来有自我意识，还是确实拥有自我意识？或者说，聪明的人工智能是否真的会具
有意识，还是看起来有意识？ 要的问题，因为它会影响我们对Kurzweil提出的人类最终会完全人工化的看法，它还有道德考量 ——如果我们模拟出万亿个人脑，而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭 的话，在道德上和关掉电脑是不是一样的？还是说这和种族屠杀是等价的？本文主要讨论人工 智能对人类的危险，所以人工智能的意识并不是主要的讨论点，因为大部分思想家认为就算是
有自我意识的超人工智能也不会像人类一样变得邪恶。 个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能。当这个人工智能的自 我改进失控并且造成智能爆炸后，它会给我们带来生存危机，因为我们面对的是一个主要目标
是杀人的超人工智能——但这也不是专家们担心的。 工具使人类能够少干活多享受。”他们已经有几款产品上架，还有一些正在发展。他们对下 一个叫作“隔壁老王”的项目最报希望。隔壁老王是一个简单的人工智能系统，它利用一个 机器臂在小卡片上写字。
老王的手写能力，而完善的方法是让他不停的写这句话——
的信更有可能被收信人打开。 王机器人公司”用斜体写，这样它能同时锻炼两种书写能力。工程师们上传了数千份手写样 本，并且创造了一个自
动回馈流程——每次隔壁老王写完，就拍个照，然后和样本进行比对，如果比对结果超过一 定标准，就产生一个正面回馈，反之就产生一个负面评价。每个评价都会帮助提高隔壁老王 的能力。为了能够尽快达成这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和
测试，尽量快的执行，并且不断提高效率和准确性。” 是经过几个星期后，看起来就像人写的了。它不断改进自己，使自己变得更加创新和聪明，
它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片。 块进行了一些创新，使得自我改进变得更好了。隔壁老王原本能进行语音识别和简单的语 音回放，这样用户就能直接把想写的内容口述给隔壁老王了。随着隔壁老王变得越来越聪
明，它的语言能力也提高了，工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应。
帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间，但是这
一次，隔壁老王要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。 博客、杂志、视频等等。这些资料如果手动上传的话会很费时。问题是，公司禁止把能自我
学习的人工智能接入互联网。这是所有人工智能公司都执行的安全规定。 一个创造出智能手写机器人。而且，把隔壁老王连上互联网又能有什么问题呢？反正随时可
以拔网线嘛，不管怎样，隔壁老王还没到达强人工智能水平，所以不会有什么危险的。
没造成什么损失。
其他人也开始咳嗽，然后所有人全部都呼吸困难倒地。五分钟后，办公室里的人都死了。 餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内， 人类灭绝了。
的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、隔壁老王的复制品、纸 和笔。一年之内，地球 上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我
们的顾客~隔壁老王机器人公司”。 器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔。
然后他们继续写着那句话…… 一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和Bostrom所害怕的。听起来可笑， 但这是真的，焦虑大道的人们害怕的事情是很多人并不对超人工智能感到害怕，还记得前面
《夺宝奇兵》里惨死的那个家伙吗？ 这么做？为什么没有安保措施来防止这一切的发生？为什么隔壁老王突然从一个手写机器人
变成拥有能用纳米科技毁灭全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语？ 面的。隔壁老王一开始是个友善的人工智能，但是它变成了不友善的人工智能，并且对人
类造成了最负面的影响。要理解这一切，我们要了解人工智能是怎么思考的。 到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类
智能程度的只有人类。要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。 是如果我给你一只狼蛛，然后告诉你它不咬人，你可能被吓一跳。但是区别是什么呢？两者
都不会咬人，所以都是完全没有危险的。我认为差别就是动物和人类的相似性。 有着昆虫的大脑，你感觉不到和它的关联。狼蛛的异己性是让你害怕的地方。如果我们继续做 一个测试，比如给你两个小白鼠，一个是普通小白鼠，另一个是有着狼蛛大脑的小白鼠，你肯
定会觉得有狼蛛大脑那个更让你不舒服吧？虽然两个都不会咬你。 会感知人类的情感吗？不会，因为更聪明并不代表更加人类——它会非常聪明，但是本质上
还是个蜘蛛。我是不想和一个超级聪明的蜘蛛交朋友，不知道你想不想。 笔记本电脑更加像人类。事实上，因为超人智能不是生物，它的异己性会更强，生物学上来
讲，超人工智能比智能蜘蛛更加异己。
。这给了我们对人类水平和超人类水平的人工智能的错觉。 出人类心理的范畴，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。
而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。 们的感觉就很像人类，因为程序员就是这么给她做设定的，所以我们会想象超级智能版本 的Siri也会同样温暖、有趣和乐于助人。人类能感知同情这种高层次的情绪，因为我们在演 化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并 不是高级智能天生具有的一个特征，除非同情被写进了人工智能的代码中。如果Siri通过自 我学习而不是人类干涉变成超级智能，她会很快剥离她的人类表象，并且变成个没有情绪
的东西，在她眼中人类的价值并不比你的计算器眼中的人类价值高。
安全和可以预期。但是当一个智能不具备这些东西的时候，会发生什么？ 目标是创造者赋予的。你的GPS的目标是给你指出正确的驾驶路线，IBM华生的目标是准确 地回答问题。更好得达成这些目标就是人工智能的目标。我们在对人工智能进行拟人化的 时候，会假设随着它变得越来越聪明，他们产生一种能改变它原本目标的智慧——但是 Bostrom不这么认为，他认为智能水平和最终目标是正交的，也就是说任何水平的智能都
可以和任何最终目标结合在一起。 还是想好好写字而已。任何假设超级智能的达成会改变系统原本的目标的想法都是对人工
智能的拟人化。人健忘，但是电脑不健忘。 故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道 上的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能
（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能生物加载器罢了。）
才是那个人工智能。
解释「费米悖论」？</a>
费米悖论的讨论，还需要看一下原文先。 但即使它把我们过滤灭绝了，人工智能本身还是会存在，并且会继续影响这个宇宙的，并且 会很有可能成为第三型文明。从这个角度来看，它可能不是一个大过滤器，因为大过滤器是 用来解释为什么没有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智
能可以把人类灭绝，然后处于一些原因把自己也弄死了，那它也是可以算作大过滤器的。 人类智能水平的文明很快都制造出了超人工智能。也就是说宇宙里应该有很多智能文明，而
我们就算观测不到生物智能，也应该观测到很多超人工智能的活动。 （也就是说我们已经经历并且通过了一次大过滤器）。这可以作为支持费米悖论中第一类
解释（不存在其它的智能文明）的论点。
受保护区或者沟通频率不一样的情况还是可以存在的，就算真的有超人工智能存在。 Scheider说
的很对，如果外星人造访地球，这些外星人很可能不是生物，而是人造的。 会努力 实现它原本的被设定的目标,而这也是人工智能的危险所在了。因为除非有不做的理由 ，不然
一个理性的存在会通过最有效的途径来达成自己的目标。 是垫脚石。 这些垫脚石的学名叫手段目标(instrumental goal)。除非你有不造成伤害的理由，不然 你在实 现手段目标时候是
会造成伤害的。 死人是 不能生孩子的。为了自保，人类要提出对生存的威胁，所以人类会买枪、系安全带、吃抗 生素等等。人类还需要通过食物、水、住宿等来自我供养。对异性有吸引力能够帮助最终目 标的达成，所以我们会花钱做发型等等。当我们做发型的时候，每一根头发都是我们手段目 标的牺牲品，但是我们对头发的牺牲不会做价值判断。在我们追求我们的目标的时候，只有
那些我们的道德会产生作用的领域——大部分事关伤害他人——才是不会被我们伤害的。 所以一个超级智能的蜘蛛对我们来说可能是很危险的——这不是因为它是不道德的或者邪 恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这
是它很自然的考量。
程师们设定的—— 除对它生存的威胁就变成了它的手段目标。它聪明的知道人类可以摧毁它、肢解它、甚至 修改它的代码（这会改变它的目标，而这对于它的最终目标的威胁其实和被摧毁是一样的）。 这时候它会做什么？理性的做法就是毁灭全人类，它对人类没有恶意，就好像你剪头发时对 头发没有恶意一样，只是纯粹的无所谓罢了。它并没有被设定成尊重人类生命，所以毁灭
人类就和扫描新的书写样本一样合理。 要的唯一资源就是原子、能源和空间。这让它有更多理由毁灭人类——人类能提供很多原
子，把人类提供的原子改造成太阳能面板就和你切蔬菜做沙拉一样。 的能源，所以它要把地球表面铺满太阳能面板。另一个用来书写圆周率的人工智能的目标 如果是写出圆周率小数点后尽量多的数字的话，完全有理由把整个地球的原子改造成一
个硬盘来存储数据。这都是一样的。
越先进的同时继续做它本来要做的事情。 的起飞。Bostrom认为强人工智能的起飞可能很快（几分钟、几小时、或者几天），可能不 快（几月或者几年），也可能很慢（几十年、几世纪）。虽然我们要到强人工智能出现后才 会知道答案，但是Bostrom认为很快的起飞是最可能的情况，这个我们在前文已经解释过了。
在隔壁老王的故事中，隔壁老王的起飞很快。
手写样本。它对人类无害，是个友善的人工智能。
力是感知能力，他们包括：
很多很多个数量级。
这个目标。超人工智能老王比人类更加了解人类，所以搞定人类轻轻松松。 有人类，也是对它目标最大的威胁。但是它知道如果它展现自己的超级智能会引起怀疑， 而人类会开始做各种预警，让它的计划变得难以执行。它同样不能让公司的工程师们知道
它毁灭人类的计划——所以它装傻，装纯。Bostrom把这叫作机器的秘密准备期。 会有安全措施，所以它发起了一个完美的请求，并且完全知道工程师们会怎样讨论，而讨
论的结果是给它连接到互联网上。工程师们果然中套了，这就是Bostrom所谓的机器的逃逸。 系统，然后让无数不知情的人帮它执行计划——比如把DNA样本快递到DNA实验室来制造自 我复制的纳米机器人，比如把电力传送到几个不会被发觉的地方，比如把自己最主要的核
心代码上传到云服务器中防止被拔网线。 了。接下来的一个月，隔壁老王的计划顺利的实施，一个月后，无数的纳米机器人已经被 分散到了全世界的每一个角落。这个阶段，Bostrom称作超人工智能的袭击。在同一个时
刻，所有纳米机器人一起释放了一点点毒气，然后人类就灭绝了。 考，而超人工智能会用超人工智能级别思考。隔壁老王想要用互联网，因为这对它来说很方 便，因为一切它需要的资源都已经被互联网连起来了。但是就好像猴子不会理解怎么用电话 或者wifi来沟通一样，我们同样没有办法理解隔壁老王可以用来和周围世界交流的方法。比 如我可以说隔壁老王可以通过移动自己的电子产生的效果来产生各种对外的波，而这还只 是我这人类的大脑想出来的，老王的大脑肯定能想出更神奇的方法。同样的，老王可以找 到给自己供能的方法，所以就算工程师把它的插头拔了也没用；比如说老王可以通过发送
波的方式把自己上传到其它地方。
的网把人类饿死不就行了？”都是可笑的。 人工智能的社交操纵能力也会很强大，它要说服你做一件事，比你说服一个小孩更容易。而
说服工程师帮忙连上互联网就是隔壁老王的A计划，万一这招行不通，自然还有别的方法。
变成不友善的人工智能，除非一开始的代码写的很小心。
善的智能确实非常难的，甚至是不可能的。
一个核心的人工智能代码，让它从深层次的明白人类的价值，但是这做起来比说起来难多了。 人们快乐。当它变得足够聪明的时候，它会发现最有效的方法是给人脑植入电极来刺激人脑 的快乐中枢。然后它会发现把人脑快乐中枢以外的部分关闭能带来更高的效率。于是人类全 部被弄成了快乐的植物人。如果一开始的目标被设定成“最大化人类的快乐”，它可能最终 先把人类毁灭了，然后制造出很多很多处于快乐状态的人类大脑。当这些事情发生的时候， 我们会大喊“擦，我们不是这个意思呀”，但是那时已经太晚了。系统不会允许任何人阻挠
它达成目标的。 痪，来达成一个永远笑脸的状态。如果你把目标设定成保护你的安全，它可能会把你软禁在 家。如果你让他终结所有饥荒，它可能会想：“太容易了，把人类都杀了就好了。”如果你 把目标设定成尽量保护地球上的生命，那它会很快把人类都杀了，因为人类对其它物种是很
大的威胁。 给它一些道德标准呢？就算我们不考虑人类根本没法达成一个统一的道德标准，就算我们真 的达成了统一的道德标准，把这套标准交给人工智能来维持，只会把人类的道德锁死在现在 的水平。过个几百年，这种道德锁死的事情就好
像逼着现代人遵守中世纪道德标准一样。
提出了一个目标，她把这个目标叫作连贯的外推意志，这个目标是这样的： 起更远得长大。外推是汇集的而不是发散的，我们的愿望是连贯的而不是被干扰的；我们想
要外推的被外推，我们想要解读的被解读。 是。但是当足够的聪明人放入足够的思考和前瞻后，我们有可能发现怎样制造一个友善的超
人工智能。 在试图制造能自我改进的人工智能，总有一天，一个人的创新将导致超人工智能的出现。专 家们认为是2060年，Kurzweil认为是2045年。Bostrom认为可能在未来的10年到21世纪结束
这段时间发生，他还认为当这发生时，智能的起飞会快得让我们惊讶，他是这么描述的： 极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什
么时候会爆炸，哪怕我们能听到炸弹的滴答声。 而且因为建造创新的人工智能花不了太多钱，研发可能发生在社会的任何一个角落，不受监 管。而且我们没办法知道准确的进度，因为很多组织是在偷偷摸摸的搞，不想让竞争对手知
道，比如隔壁老王机器人公司这种公司。 聪明的弱人工智能系统，因为他们想要比竞争对手更快的到达目标。有些更有野心的组织， 为了追逐创造出第一个强人工智能所能带来的金钱、奖励、荣誉、权力会把步子迈得更大。 当你全力冲刺时，你是不会有太多时间静下来思考这些危险的。恰恰相反，他们很可能在早 期系统中写尽量简单的代码，比如把目标设定成用笔写一句话，先让系统跑起来再说，反正
以后还可以回过头来改的。对吧？ 世界上唯一一个超人工智能是最有利的，而在快速起飞的情况下，哪怕它只比第二名快了几 天，它也完全有时间碾压所有对手。Bostrom把这叫作决定性的战略优势，这种优势会让第
一个超人工智能永远统治这个世界，不管在它的统治下我们是走向永生还是灭亡。
人类安全的人能够最先造出一个友善的超人工智能的话，那对我们是很好的。
之前被达成，那么像隔壁老王这样不友善的超人工智能就会统治世界并把我们毁灭了。
研究的钱多很多。不乐观。
能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。 创造的第一个超人工智能也很可能是最后一个。但是我们都知道大部分产品的1.0版本都是 充满bug的，所以这个事情还是很吓人的。另一边，Bostrom指出我们有很大的优势——我
们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。 久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都在静静地看着我们， 希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人 类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一
起走向灭绝。
何事情比这个更重要——不管我们要花多少时间来把这件事情做对。 声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太
谨慎，那多麻烦呀。 的一份力。
伙才是事儿。我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其
实下一秒我们可能就会跌下平衡木。 引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人 是不会有困扰的。</p><p>这就是为什么了解超人工智能的人把它称作人类的最后一项发
明，最后一个挑战。 |
科学技术对人类的弊端
一位修行人讲述史前...
草原上成群的鸟儿撞...
哲学家脑科学家韩显...
地球内部真的有“地...
战神向人类通报地球...
再给人类1000年的时...
人类想长生不老？地...
地球 的 明天 畅想
预测人工智能最厉害...
人工智能很可能导致...
你舍不得扔掉的，90...
寄 语 地 球 人
时隔25年 全球逾1500...
为什么当今社会的不...
科学证明：中文才是...
中国传统文化是推进...
中华先民两万年前就...
《山海经》——改变...
一只狗的偷渡真相
战神向人类通报地球...
一整支航母编队已入...
为什么多数美国人不...
世界奇异人种探秘：...
布达佩斯(罗马)俱乐...
自由能源取得重大突破！
惊天发现！袋鼠竟然...
唐锡阳：在大自然面...
人类最大的秘密
生态文明是和谐社会...
人类对地球忏悔文（...
科学能证明精神世界...
立场错误，科学就是...
人工智能很可能导致...
“生态危机”与神道主义
非常注重环保的某一外星
闻所未闻 盘点十种...
灵性沟通看到的地心世界
斯蒂芬·霍金想...
[精神文明]与[整体科学]
|
蓝星新时代网 | 版权所有 | 联系信箱及支付宝 fozairenjian#126.com （使用时#改@） 本站域名 www.lxxsd.cn 豫ICP备08106469号-4 站内
|