论文部分内容阅读
超出原本预期不断增长的计算能力和具有学习能力的算法，很可能会引发邪恶的超级智能
如果我们这个时代最富有、最聪明和最具商业头脑的三个人都认同某个想法，那这个想法一定值得其他人认真考虑。这里要提到的三个人分别是：世界首富、微软联合创始人比尔·盖茨；线上支付、电动车、宇宙飞行，以及地面交通领域的核心创新者埃隆·马斯克；还有宇宙学家史蒂芬·霍金。他们都认同这个想法：人工智能（AI）存在威胁人类文明的潜在可能。这些只是聪明人的疯狂猜想吗，还是确实需要我们认真去了解的真知灼见？
在经历了半个世纪的缓慢推进后，2016年正在成为“人工智能”年。2016年，刚刚被谷歌纳入旗下的DeepMind团队用阿尔法围棋软件打败了人类最优秀的围棋选手李世石，在全世界的关注下以4：1的成绩获得了胜利。AI的应用领域当然不仅限于围棋，它还能应用到众多其他领域，比如：医疗健康、教育、科学、娱乐等等。AI不仅能够掌握这些领域的知识，还有可能最终超越人类在该领域最棒的从业者。摩尔定律效应（英特尔Intel创始人之一戈登·摩尔提出来的概念，内容为：当价格不变时，集成电路上可容纳元器件的数目，约每隔18-24个月便会增加1倍，性能也将提升1倍。换言之，每1美元所能买到的电脑性能，将每隔18-24个月翻1倍以上）告诉我们，性价比的提升会让最棒的应用和性能变得日益平民化。比如，健康医疗领域的AI可以在几秒钟内精确诊断出大多数家庭医生没见过的罕见病例，而AI做出判断的依据是对上百万医疗记录的访问，将病人的基因和表外基因（是指DNA序列不发生变化，但基因表达却发生了可遗传的改变）与数百万病患进行对比。让手机上一个免费的应用成为世界上最棒的医生只是时间问题。
但AI也有其阴暗的一面，这在畅销小说中体现得淋漓尽致。在《2001：太空漫游》中，“发现一号”宇宙飞船上的AI因为犯错、说谎，最终被英雄大卫·鲍曼关闭。但在《终结者》系列中，“天网”似乎比人类更高明，在新片《机械姬》中，机器人爱娃也比她的人类创造者更加聪明。这些电影真的只是科幻小说吗，或者它们已经预示了下一个变革——超越人类的机器？如果机器是下一个变革，它们是否会像它们的先驱一样，也就是我们人类，把无数的物种踩在脚下当做进化的阶梯？或者换个说法，电脑系统会做坏事吗？如果它们做坏事，又会带来怎样的后果呢？
恶意行为
我们首先要明确的一点是，计算机系统可以通过无数种机制进行恶意行为，既可以是恶意行为的来源，也可以是恶意行为的渠道。举例来说，可能会出现一个这样的机制：它所承载的程序皆由黑客、恐怖分子或者网络罪犯所控制，而这些网络罪犯正在充斥着不严谨系统的全球计算机结构中寻找漏洞。不仅如此，这些系统还有可能被故意设计用于战争。如今先进的军队都在制造无人机、战斗飞机、舰船、坦克还有战斗机器人。拯救士兵性命这件事，已经和计算机与武器的结合密切相关；还有另外一种机制，善意的软件中隐藏着漏洞。这些漏洞有可能是被恶意行为人故意放进去的，也有可能是善意行为人不小心放进去的。比如最严重的漏洞之一“Heartbleed”，就是开源贡献者罗宾·西格曼为了修复其它漏洞无意间造成的，结果导致软件出现了意料之外的功能。负责检测软件更新的斯蒂芬·汉森因为没有发现更新中存在的错误漏洞，结果导致上亿网站暴露于危险之中。
还有一种机制是计算机系统会按照预先编程好的逻辑运行，但许多问题本身就没有那么容易解决。比如自动驾驶车的控制系统所提出的“道德”难题：迎面行驶而来的车，由于路面湿滑，在山路上滑到了另一边的车道，因为没有足够的时间停车，所以，控制程序必须在撞向对面的车和开下悬崖之间做出选择。但这两个选择都不是好的解决办法。当然，这种困境在计算机之外的现实世界同样存在。比如，纽约最近规定禁止售卖大容量的含糖软饮料。一些人认为这样可以遏制肥胖；另一些人却认为这样限制了人们的自由。高级智能的AI作出的决策可能是为了实现我们的利益最大化，但人们会将其视为恶意行为，因为它们限制了我们的自由。
最后，复杂的系统可能会出现程序员计划之外和预料之外的表现。每个组成部分在看似合理的预设行为相互作用后，就有可能会产生意想不到的结果。比如，进化生物学家皮特·劳伦斯写的《苍蝇诞生记》，原本价格只有35美元左右，结果在两家出版商“非常合理”的定价算法的推动下，价格翻了上百万倍，超过2300万美元。出版商Profnath的定价算法是，把自己的价格定到竞争对手Borde ebook价格的0.9983倍，可以猜想Profnath的策略是缩小利润打败竞争对手；而其竞争对手Bordeebook更愿意用销量来交换利润，所以，将价格定为Profnath的1.27倍。结果这两种各自合理的定价算法交互作用，最终导致书价不停上涨到完全不合理的高度。
最终极的一种可能当然是，人类创造出了有足够复杂意识和自我意识的人工智能，并且拥有“掌控”的动机。虽然这样的情况今天不会发生，但人类历史就是由这些原本看似不可能的预测造就的，所以，最好有足够的理由证明这些事情一定不会发生，否则，不是今天发生，也会是今年、未来十年或者有生之年发生。
对一些人来说，人工智能是非常不可思议的一种能力。在许多方面，它的确如此。虽然它确实是不可思议的，但这并不代表它不可复制。很多人类思想的不同机制都在经历不同程度的复制，最近复制的是人脑低端机制，比如，复制了神经元和突触交流学习机制的人工神经网络。人们很容易陷入到AI是否可以获得“真爱”或者“真的生气”这种无限的讨论中，但说到底这并不重要。真正的问题是，AI是否可以被编程或者学习去获得完成某一复杂任务的动机。而这个问题早在几十年以前就已经有了答案，那时，机器人就已经可以在低电量的情况下把自己连接到墙上的插座充电，程序也会在下西洋跳棋的时候去争取胜利。现在的软件所拥有的能力是以指数增长的，因为这些系统构建中最深层次的东西已经改变：不需要程序员再为程序精准编码，机器已经可以自学了。 在人工智能发证的早期阶段，个别程序需要程序员刻苦钻研，而最终系统所获得的能力很大程度上受到程序员自身水平的限制。就算我们对计算机科学一无所知，也可以编出井字棋的运算法则。编入这个程序的实际是游戏逻辑：1）如果你先落子，那就选中间的空格；2）如果你是后落子的那一方，而你的对手已经占了中心的空格，那你就选一个角落的空格；3）其它情况。这种算法实际上对游戏没有任何深入的了解，只是简单复制执行了程序制定的法则。在井字棋的游戏中，所有最优策略都可以通过法则来预先指定，因为可能出现的情况数量相对来说是比较小的。值得注意的是，虽然井字棋只有九个空格，但也有上万种组合。（第一步就有9种可能，第二部8种，第三部剩7种，这样算下来就是9*8*7*6*5*4*3*2*1=362880种组合，虽然有的回合走到第五步就结束了。）
对国际象棋来说，这就变得更加困难了，因为落子的位置大概有10120种不同组合。井字棋那种考虑到所有情况的硬编码方式已经不可行。因而，早期植入国际象棋程序的机制对落子规则进行了硬编码，对落子位置进行评估，然后检测不同的落子位置带来了提升还是不利。随着电脑越来越强大，每一步落子所带来的影响也在更大程度上被预测。计算机变强的同时，程序逻辑仍然在一定程度上限制着下棋质量，但软件如今检测到了越来越多落子可能性。
深度学习时代到来
古语云：“授人以鱼不如授人以渔”。新语或许可以是：“授计算机以程序，不如授计算机以深度学习能力，然后它就可以自学任何事情。”打败李世石的谷歌DeepMind 阿尔法围棋软件就是一个很好的例子。它将两种方法进行了结合。一方面，它从人类的程序员那里获得了围棋知识；另一方面，它也获得了学习程序员不知道的东西的能力。AlphaGo观看了上亿场比赛，一边从围棋大师那里学习一边自己下围棋。这样一来，AlphaGo只用了几周或者几个月的时间，就经历并学习了人类棋手一辈子所能下的围棋。而软件的复杂程度是由游戏的复杂程度决定的。围棋的组合数是10720种。
谷歌阿尔法围棋软件真正有趣的是它在第二局中的黑37手。这一手出人意料，李世石离开比赛大厅15分钟。在此之前，AlphaGo基本都是按照几个世纪来的传统方法在下棋。但一开始被认为奇怪甚至是失误的这一手，后来被认为是“稀有的”、“敏锐的”、“出色的”、“有创造力的”、“独特的”。计算机和算法的思想终于透露了最深的秘密：被人所编程的机器可以启发人类，甚至有超越人类的能力。一个在人类看来刚刚起步的计算机程序，却在最古老、最复杂，也是人类最高明的发明——围棋——中创造了新的方法。
李世石最终以1：4的成绩败给阿尔法围棋软件，这进一步向我们证明了，计算机程序能够展现出程序员预料之外行为的能力。往好的方面想，这意味这程序或许可以找到解决癌症、冷聚变、长生不老或者脱盐等问题的方法。比如，Melvin是一个聚合了量子物理实验的程序，程序已经设计出了多种“反直觉”的实验方案，也许将来会带来新的能量生成方面的计算结构或者机制。
由独立的模块结合后产生复杂的、预料之外的行为被称之为“涌现”（emergence），存在于计算之外。比如，鸟群多姿的变化都是由每只鸟简单的三个动作组合而成：分开、排成一排、保持连贯。计算机图形学家克雷格雷诺兹（Craig Reynolds）在上世纪80年代将这三个准则简单归纳为：1.飞的时候别离其他鸟太近；2.和其他鸟保持相似的飞行方向；3.别飞离其他鸟太远。蚂蚁族群寻找食物是非常复杂的行为，但这个复杂的行为也只是由每一只蚂蚁的简单行为组成的。多亏这种“增长”，蚂蚁族群找到了搬运食物最短的路径。蚂蚁在寻找食物、搬运食物的时候会在路上留下信息素。因此，会有越来越多的信息素沉积在最短的路径上，之后越来越多的蚂蚁会走这条路。
即便是在非常简单的系统中，这种最易懂的“增长”也会导致人类的灾难。比如，最简单的水分子系统的增长，仅仅由两个氧原子和一个氢原子构成的水分子，可以变成冰，而冰又可以导致汽车在高速路上打滑酿成车祸。这告诉我们：即便是最简单的系统也可能引发大规模问题。
阿尔法围棋软件和Melvin告诉我们，具有学习能力的独立程序可以创新，并产生意想不到的结果。《苍蝇诞生记》的价格飞涨还有股市的崩盘都告诉我们，当这些程序相互作用的时候，结果可能会大大出乎我们的预料，并导致混乱。换句话说，超出原本预期不断增长的计算能力和具有学习能力的算法很可能会引发邪恶的超级智能。但想要引起混乱和问题，也不一定需要这种超越人类能力的智能，早期版本的微软视窗系统就能做到，臭名昭著的“蓝屏死机”能让你瞬间丢失所有表单和文件里已经完成的工作。
恶意行为的后果
恶意程序有可能会导致其它电脑程序出现严重问题，导致实体系统出现问题，进而导致军队系统出现问题。算法出问题而导致的崩盘，可能会导致全球金融系统出现问题，财富和流动性流失，进而引发大萧条和经济崩溃。医院的系统也会受到干扰甚至崩溃，因为勒索软件会破解医疗记录和诊断图像，干扰医院系统基础功能的正常使用，比如，登陆、保险、账单还有邮件功能。2014年9月26日，芝加哥地区的空中交通突然中断，据称起因是一名心怀不满的员工干扰了空中交通控制系统而导致的。
2003年8月14日，美国东北地区大停电爆发，5千多万人受到了停电影响。但停电的起因并非天气炎热导致的过度用电，而仅仅是因为警报系统的一个小漏洞导致操作员未能及时发现一条问题线路，结果引发了更大规模管理软件的失效，导致了此次长达一个星期的停电。Stuxnet电脑蠕虫曾引发伊朗五分之一的核能离心分离器毁灭，蠕虫使离心分离器过快转动，结果把自己撕成了碎片。2014年，德国一家钢铁厂报告遭受大规模破坏，黑客侵入了计算机网络，阻止了高炉的正常关闭。
虽然这些攻击都是由单一民族国家或黑客造成的，而非流氓超级智能AI，但这些攻击的重要特征是：程序连接到真实世界的系统，并使他们失控、自我毁灭、关闭报警系统或者像核电站冷却系统这样的保护系统。或许最终的危险不是软件致使汽车、飞机、电网、或核电站失灵，而是软件和武器连接在了一起。这些武器可能包括无人机、洲际弹道导弹、潜艇发射的弹道导弹等。战争自动化是一种不可逆转的趋势。那些用于远程监控、控制的网络连接，同样可能被黑客侵入或被恶意软件利用。
未来如何
科技、计算机技术和人工智能，都能被用在好的方面和坏的方面。我们大多数人都希望看到一个没有战争、疾病、贫穷和饥饿的世界，而这些技术正是我们实现乌托邦的希望。然而，也有可能会发生一些不幸。这篇文章想要论证的是，即便我们不希望看到这些不幸发生，但我们没有证据证明它们不会发生。而我们的责任就是要找到方法来确保它们不发生。微软聊天机器人Tay，阐明了人工智能存在的背景。Tay是一个为了在推特等社交媒体网站上进行互动而设计的软件程序。它上线于2016年3月23日，16小时后因为在人类的互动中“学坏”，微软不得不将其下线并致歉。换句话说，友好的或至少是中性的Tay，反映出了一些积极和消极的复杂人性，它和阿尔法围棋软件都给我们上了一课。
如果我们这个时代最富有、最聪明和最具商业头脑的三个人都认同某个想法，那这个想法一定值得其他人认真考虑。这里要提到的三个人分别是：世界首富、微软联合创始人比尔·盖茨；线上支付、电动车、宇宙飞行，以及地面交通领域的核心创新者埃隆·马斯克；还有宇宙学家史蒂芬·霍金。他们都认同这个想法：人工智能（AI）存在威胁人类文明的潜在可能。这些只是聪明人的疯狂猜想吗，还是确实需要我们认真去了解的真知灼见？
在经历了半个世纪的缓慢推进后，2016年正在成为“人工智能”年。2016年，刚刚被谷歌纳入旗下的DeepMind团队用阿尔法围棋软件打败了人类最优秀的围棋选手李世石，在全世界的关注下以4：1的成绩获得了胜利。AI的应用领域当然不仅限于围棋，它还能应用到众多其他领域，比如：医疗健康、教育、科学、娱乐等等。AI不仅能够掌握这些领域的知识，还有可能最终超越人类在该领域最棒的从业者。摩尔定律效应（英特尔Intel创始人之一戈登·摩尔提出来的概念，内容为：当价格不变时，集成电路上可容纳元器件的数目，约每隔18-24个月便会增加1倍，性能也将提升1倍。换言之，每1美元所能买到的电脑性能，将每隔18-24个月翻1倍以上）告诉我们，性价比的提升会让最棒的应用和性能变得日益平民化。比如，健康医疗领域的AI可以在几秒钟内精确诊断出大多数家庭医生没见过的罕见病例，而AI做出判断的依据是对上百万医疗记录的访问，将病人的基因和表外基因（是指DNA序列不发生变化，但基因表达却发生了可遗传的改变）与数百万病患进行对比。让手机上一个免费的应用成为世界上最棒的医生只是时间问题。
但AI也有其阴暗的一面，这在畅销小说中体现得淋漓尽致。在《2001：太空漫游》中，“发现一号”宇宙飞船上的AI因为犯错、说谎，最终被英雄大卫·鲍曼关闭。但在《终结者》系列中，“天网”似乎比人类更高明，在新片《机械姬》中，机器人爱娃也比她的人类创造者更加聪明。这些电影真的只是科幻小说吗，或者它们已经预示了下一个变革——超越人类的机器？如果机器是下一个变革，它们是否会像它们的先驱一样，也就是我们人类，把无数的物种踩在脚下当做进化的阶梯？或者换个说法，电脑系统会做坏事吗？如果它们做坏事，又会带来怎样的后果呢？
恶意行为
我们首先要明确的一点是，计算机系统可以通过无数种机制进行恶意行为，既可以是恶意行为的来源，也可以是恶意行为的渠道。举例来说，可能会出现一个这样的机制：它所承载的程序皆由黑客、恐怖分子或者网络罪犯所控制，而这些网络罪犯正在充斥着不严谨系统的全球计算机结构中寻找漏洞。不仅如此，这些系统还有可能被故意设计用于战争。如今先进的军队都在制造无人机、战斗飞机、舰船、坦克还有战斗机器人。拯救士兵性命这件事，已经和计算机与武器的结合密切相关；还有另外一种机制，善意的软件中隐藏着漏洞。这些漏洞有可能是被恶意行为人故意放进去的，也有可能是善意行为人不小心放进去的。比如最严重的漏洞之一“Heartbleed”，就是开源贡献者罗宾·西格曼为了修复其它漏洞无意间造成的，结果导致软件出现了意料之外的功能。负责检测软件更新的斯蒂芬·汉森因为没有发现更新中存在的错误漏洞，结果导致上亿网站暴露于危险之中。
还有一种机制是计算机系统会按照预先编程好的逻辑运行，但许多问题本身就没有那么容易解决。比如自动驾驶车的控制系统所提出的“道德”难题：迎面行驶而来的车，由于路面湿滑，在山路上滑到了另一边的车道，因为没有足够的时间停车，所以，控制程序必须在撞向对面的车和开下悬崖之间做出选择。但这两个选择都不是好的解决办法。当然，这种困境在计算机之外的现实世界同样存在。比如，纽约最近规定禁止售卖大容量的含糖软饮料。一些人认为这样可以遏制肥胖；另一些人却认为这样限制了人们的自由。高级智能的AI作出的决策可能是为了实现我们的利益最大化，但人们会将其视为恶意行为，因为它们限制了我们的自由。
最后，复杂的系统可能会出现程序员计划之外和预料之外的表现。每个组成部分在看似合理的预设行为相互作用后，就有可能会产生意想不到的结果。比如，进化生物学家皮特·劳伦斯写的《苍蝇诞生记》，原本价格只有35美元左右，结果在两家出版商“非常合理”的定价算法的推动下，价格翻了上百万倍，超过2300万美元。出版商Profnath的定价算法是，把自己的价格定到竞争对手Borde ebook价格的0.9983倍，可以猜想Profnath的策略是缩小利润打败竞争对手；而其竞争对手Bordeebook更愿意用销量来交换利润，所以，将价格定为Profnath的1.27倍。结果这两种各自合理的定价算法交互作用，最终导致书价不停上涨到完全不合理的高度。
最终极的一种可能当然是，人类创造出了有足够复杂意识和自我意识的人工智能，并且拥有“掌控”的动机。虽然这样的情况今天不会发生，但人类历史就是由这些原本看似不可能的预测造就的，所以，最好有足够的理由证明这些事情一定不会发生，否则，不是今天发生，也会是今年、未来十年或者有生之年发生。
对一些人来说，人工智能是非常不可思议的一种能力。在许多方面，它的确如此。虽然它确实是不可思议的，但这并不代表它不可复制。很多人类思想的不同机制都在经历不同程度的复制，最近复制的是人脑低端机制，比如，复制了神经元和突触交流学习机制的人工神经网络。人们很容易陷入到AI是否可以获得“真爱”或者“真的生气”这种无限的讨论中，但说到底这并不重要。真正的问题是，AI是否可以被编程或者学习去获得完成某一复杂任务的动机。而这个问题早在几十年以前就已经有了答案，那时，机器人就已经可以在低电量的情况下把自己连接到墙上的插座充电，程序也会在下西洋跳棋的时候去争取胜利。现在的软件所拥有的能力是以指数增长的，因为这些系统构建中最深层次的东西已经改变：不需要程序员再为程序精准编码，机器已经可以自学了。 在人工智能发证的早期阶段，个别程序需要程序员刻苦钻研，而最终系统所获得的能力很大程度上受到程序员自身水平的限制。就算我们对计算机科学一无所知，也可以编出井字棋的运算法则。编入这个程序的实际是游戏逻辑：1）如果你先落子，那就选中间的空格；2）如果你是后落子的那一方，而你的对手已经占了中心的空格，那你就选一个角落的空格；3）其它情况。这种算法实际上对游戏没有任何深入的了解，只是简单复制执行了程序制定的法则。在井字棋的游戏中，所有最优策略都可以通过法则来预先指定，因为可能出现的情况数量相对来说是比较小的。值得注意的是，虽然井字棋只有九个空格，但也有上万种组合。（第一步就有9种可能，第二部8种，第三部剩7种，这样算下来就是9*8*7*6*5*4*3*2*1=362880种组合，虽然有的回合走到第五步就结束了。）
对国际象棋来说，这就变得更加困难了，因为落子的位置大概有10120种不同组合。井字棋那种考虑到所有情况的硬编码方式已经不可行。因而，早期植入国际象棋程序的机制对落子规则进行了硬编码，对落子位置进行评估，然后检测不同的落子位置带来了提升还是不利。随着电脑越来越强大，每一步落子所带来的影响也在更大程度上被预测。计算机变强的同时，程序逻辑仍然在一定程度上限制着下棋质量，但软件如今检测到了越来越多落子可能性。
深度学习时代到来
古语云：“授人以鱼不如授人以渔”。新语或许可以是：“授计算机以程序，不如授计算机以深度学习能力，然后它就可以自学任何事情。”打败李世石的谷歌DeepMind 阿尔法围棋软件就是一个很好的例子。它将两种方法进行了结合。一方面，它从人类的程序员那里获得了围棋知识；另一方面，它也获得了学习程序员不知道的东西的能力。AlphaGo观看了上亿场比赛，一边从围棋大师那里学习一边自己下围棋。这样一来，AlphaGo只用了几周或者几个月的时间，就经历并学习了人类棋手一辈子所能下的围棋。而软件的复杂程度是由游戏的复杂程度决定的。围棋的组合数是10720种。
谷歌阿尔法围棋软件真正有趣的是它在第二局中的黑37手。这一手出人意料，李世石离开比赛大厅15分钟。在此之前，AlphaGo基本都是按照几个世纪来的传统方法在下棋。但一开始被认为奇怪甚至是失误的这一手，后来被认为是“稀有的”、“敏锐的”、“出色的”、“有创造力的”、“独特的”。计算机和算法的思想终于透露了最深的秘密：被人所编程的机器可以启发人类，甚至有超越人类的能力。一个在人类看来刚刚起步的计算机程序，却在最古老、最复杂，也是人类最高明的发明——围棋——中创造了新的方法。
李世石最终以1：4的成绩败给阿尔法围棋软件，这进一步向我们证明了，计算机程序能够展现出程序员预料之外行为的能力。往好的方面想，这意味这程序或许可以找到解决癌症、冷聚变、长生不老或者脱盐等问题的方法。比如，Melvin是一个聚合了量子物理实验的程序，程序已经设计出了多种“反直觉”的实验方案，也许将来会带来新的能量生成方面的计算结构或者机制。
由独立的模块结合后产生复杂的、预料之外的行为被称之为“涌现”（emergence），存在于计算之外。比如，鸟群多姿的变化都是由每只鸟简单的三个动作组合而成：分开、排成一排、保持连贯。计算机图形学家克雷格雷诺兹（Craig Reynolds）在上世纪80年代将这三个准则简单归纳为：1.飞的时候别离其他鸟太近；2.和其他鸟保持相似的飞行方向；3.别飞离其他鸟太远。蚂蚁族群寻找食物是非常复杂的行为，但这个复杂的行为也只是由每一只蚂蚁的简单行为组成的。多亏这种“增长”，蚂蚁族群找到了搬运食物最短的路径。蚂蚁在寻找食物、搬运食物的时候会在路上留下信息素。因此，会有越来越多的信息素沉积在最短的路径上，之后越来越多的蚂蚁会走这条路。
即便是在非常简单的系统中，这种最易懂的“增长”也会导致人类的灾难。比如，最简单的水分子系统的增长，仅仅由两个氧原子和一个氢原子构成的水分子，可以变成冰，而冰又可以导致汽车在高速路上打滑酿成车祸。这告诉我们：即便是最简单的系统也可能引发大规模问题。
阿尔法围棋软件和Melvin告诉我们，具有学习能力的独立程序可以创新，并产生意想不到的结果。《苍蝇诞生记》的价格飞涨还有股市的崩盘都告诉我们，当这些程序相互作用的时候，结果可能会大大出乎我们的预料，并导致混乱。换句话说，超出原本预期不断增长的计算能力和具有学习能力的算法很可能会引发邪恶的超级智能。但想要引起混乱和问题，也不一定需要这种超越人类能力的智能，早期版本的微软视窗系统就能做到，臭名昭著的“蓝屏死机”能让你瞬间丢失所有表单和文件里已经完成的工作。
恶意行为的后果
恶意程序有可能会导致其它电脑程序出现严重问题，导致实体系统出现问题，进而导致军队系统出现问题。算法出问题而导致的崩盘，可能会导致全球金融系统出现问题，财富和流动性流失，进而引发大萧条和经济崩溃。医院的系统也会受到干扰甚至崩溃，因为勒索软件会破解医疗记录和诊断图像，干扰医院系统基础功能的正常使用，比如，登陆、保险、账单还有邮件功能。2014年9月26日，芝加哥地区的空中交通突然中断，据称起因是一名心怀不满的员工干扰了空中交通控制系统而导致的。
2003年8月14日，美国东北地区大停电爆发，5千多万人受到了停电影响。但停电的起因并非天气炎热导致的过度用电，而仅仅是因为警报系统的一个小漏洞导致操作员未能及时发现一条问题线路，结果引发了更大规模管理软件的失效，导致了此次长达一个星期的停电。Stuxnet电脑蠕虫曾引发伊朗五分之一的核能离心分离器毁灭，蠕虫使离心分离器过快转动，结果把自己撕成了碎片。2014年，德国一家钢铁厂报告遭受大规模破坏，黑客侵入了计算机网络，阻止了高炉的正常关闭。
虽然这些攻击都是由单一民族国家或黑客造成的，而非流氓超级智能AI，但这些攻击的重要特征是：程序连接到真实世界的系统，并使他们失控、自我毁灭、关闭报警系统或者像核电站冷却系统这样的保护系统。或许最终的危险不是软件致使汽车、飞机、电网、或核电站失灵，而是软件和武器连接在了一起。这些武器可能包括无人机、洲际弹道导弹、潜艇发射的弹道导弹等。战争自动化是一种不可逆转的趋势。那些用于远程监控、控制的网络连接，同样可能被黑客侵入或被恶意软件利用。
未来如何
科技、计算机技术和人工智能，都能被用在好的方面和坏的方面。我们大多数人都希望看到一个没有战争、疾病、贫穷和饥饿的世界，而这些技术正是我们实现乌托邦的希望。然而，也有可能会发生一些不幸。这篇文章想要论证的是，即便我们不希望看到这些不幸发生，但我们没有证据证明它们不会发生。而我们的责任就是要找到方法来确保它们不发生。微软聊天机器人Tay，阐明了人工智能存在的背景。Tay是一个为了在推特等社交媒体网站上进行互动而设计的软件程序。它上线于2016年3月23日，16小时后因为在人类的互动中“学坏”，微软不得不将其下线并致歉。换句话说，友好的或至少是中性的Tay，反映出了一些积极和消极的复杂人性，它和阿尔法围棋软件都给我们上了一课。