论文部分内容阅读
几千年来，人们一直在谈论世界末日，但很少有人真的努力去避免世界末日的发生。人类并不擅长应对那些到目前为止没有发生过的事情，人们往往会过高估计已知事件的发生概率，而忽略那些不易记起的事件。
如果人类灭绝，最直接的损失是失去了所有活着的人。不过，损失可能远远不止于此。人类灭绝意味着祖祖辈辈创造的价值不复存在，未来所有将要诞生的生命以及这些生命可能创造的所有价值都会成空。没有了意识和智慧，价值本身会在宇宙中荡然无存。因此，我们有充分的理由去努力避免那些影响人类生存的危险发生。
在这篇文章中，我选择了我认为对人类生存威胁最大的五个隐患。但是，这并非定论，未知的威胁一直存在。
1.核战争
尽管到目前为止，核武器只被使用了两次（“二战”期间投放到广岛和长崎的原子弹），而且核武器的储备比冷战高峰期有所下降，但你如果认为核战争是不可能发生的，那就错了。
古巴导弹危机差一点变成核战争。假如这样的事件每69年发生一起，每三起这样的事件中有一起演变为核战争，那么发生这种灾难的几率就会上升到大约每年1/200。
更糟糕的是，古巴导弹危机只是最著名的一个事例，美苏之间核威慑的历史充满了千钧一发的危急时刻和危险的错误举措。由于国际紧张局势的变化，核战争爆发的概率已经有了改变。但是，如果说爆发核战争的概率远远不到每年1/1000，似乎是难以令人信服的。
大国之间全面的核战争将直接或间接地把数以亿计的人置于死地——那是一场难以想象的灾难。但是，这仍不足以威胁人类的生存。
同样，放射尘的危害也常常被夸大，它在小范围内是致命的，但对整个地球造成的危害相对有限。有人曾经提出，钴弹可以导致假设中的世界末日，其放射尘可以杀死任何人。然而实际上，这种武器制造起来是很困难、很花钱的，从客观上讲几乎不可能做到。
真正的威胁是核冬天的到来，也就是核爆产生的烟尘进入大气平流层，造成地球长期的低温和干燥。现代的气候模拟显示，核冬天会使全世界绝大部分地区在很多年内无法耕种。如果这种情况发生，数十亿人将会饿死，幸存者还可能会遭受其他威胁，如疾病。我们还不能确定这些烟尘会表现出怎样的性质，不同类型的烟尘可能造成不同的结果。因此目前我们没法对此做出估计。
2.生物工程流行病
与战争相比，自然流行病具有更大的杀伤力。然而，自然流行病不大可能成为人类生存的威胁：总会有人对病原体免疫，幸存者的后代将拥有更强的抗体。从进化的角度来讲，寄生物种也不会将它们的宿主全部消灭。这一点可以解释为什么随着梅毒的扩散，这个致命杀手渐渐变成了一种慢性病。
遗憾的是，我们现在可以使疾病变得更加厉害。比较著名的例子之一就是往鼠痘（老鼠的天花病毒）中植入一种基因，鼠痘的致命性就会增强许多，可以感染接种过疫苗的个体。最近对禽流感的研究表明，一种疾病的传染性可以人为地得到加强。
目前，有人故意释放毁灭性东西的风险不大。但是，随着生物技术越来越发达，费用也越来越低，更多的团体将能掌握这类技术。
生物武器的研发大都是由政府主导的，寻求的是可控制的杀伤力，因为消灭全人类在军事上是没有任何意义的。但是，总有一些人想做疯狂的事情，仅仅是因为他们有能力做到。另一些人拥有“更高”的目标，例如，日本奥姆真理教的狂热分子企图加速世界末日的到来，他们除了使用更加有威胁的神经毒气外，还使用生物武器。还有些人认为，如果没有人类，地球会更加美好。
由于生物武器的袭击和流行病爆发而死亡的人数看起来是呈幂律分布的——绝大部分袭击和流行病造成的伤亡很小，而极少数袭击和流行病却会造成极大的伤亡。根据当前掌握的数据看，由生物恐怖袭击造成全球流行病爆发的风险似乎很小，可是比起恐怖分子，政府使用生物武器所杀的人要多得多——“二战”期间，可能有多达400000人死于日本的生物战争计划——这恰恰也属于生物恐怖活动。随着生物技术的威力越来越强大，杀伤力更强的病原体也就更加容易设计了。
3.超级智能
智慧是非常具有威力的。我们在解决问题及团体协作方面略高一筹，让其他灵长类望尘莫及。其他灵长类能否继续生活在地球上，取决于人类的决定，而不是它们自己。对人类来说，拥有智慧的确是一种优势。因此，我们想方设法地提高个人和集体智慧，从提高认知能力的药物到人工智能软件，我们做出了很多努力。
有智慧的实体善于实现自己的目标，但如果目标设置不当，就可能利用自己的威力轻而易举地实现灾难性的目标。如果认为智能本身会使某个事物表现良好而又符合道德规范，那是没有道理的。某种超级智能系统可能会违反道德规则，即使这些规则是正确的。
更加令人担忧的是，在人工智能技术高歌猛进时，我们遇到了深奥的实际问题和哲学问题。人的价值都是些宽泛、复杂、不易表达的概念，即使表达了，我们也可能不明白是否传达了自己想表达的所有含义。
智能软件可能很快就会变得异常强大。智能软件的分级方式跟生物智能有所不同，它们会随着硬件的提升而“进化”，并依靠在不同硬件上运行而得到测试和升级。
有人曾经提出，当软件的性能足够卓越、其本身能够制造出更好的软件时，“智能爆炸”就成为可能。如果发生这种飞跃，那么智能体系将凌驾于世界其他体系之上。如果目标设置不当，就可能造成灾难。
我们不知道迅速而强有力的智能爆炸是否有可能发生，或许作为一个整体，我们目前的文明正在以最快的速度自我改善。但是，我们有充分的理由相信，一些技术可能会加速事态的发展，发展速度可能会远远超出我们的预期，使当前社会各界根本无法应对。同样，我们也不知道不同形式的超级智能的危险性到底有多大，什么样的减灾策略能够真正起到作用。对我们尚不掌握的未来技术，或者对比我们更强大的智能，我们很难估测情况到底会如何。在这份威胁名单中，这个威胁要么规模巨大，要么仅仅是虚幻。 这是少有人研究的领域。20世纪五六十年代，人们对“这代人”将实现超级智能极有信心，却没怎么关注安全问题。也许人们当时没有重视那个预测，或者，觉得超级智能是遥远的未来时代的问题。
4.纳米技术
纳米技术的本质是利用原子或分子的精度来控制物质。纳米技术本身并不危险，相反，该技术在绝大多数领域是一则好消息。问题是，就像生物技术一样，威力的提高也增加了滥用的可能性，这些都是难以防范的。
美国未来学家德雷克斯勒提出了一个被称为“灰色黏质”的古怪概念。这是一种由纳米机器人组成的东西，可以通过移动单个原子制造出任何人们想要的东西，土豆、服装或者是计算机芯片等，而不必使用传统的制造方式。德雷克斯勒担心，这样一种能够自我复制的机器人可能会失去控制，它们能疯狂地复制自身，在最短的时间内把地球变成一大团完全由纳米机器人组成的“灰色黏质”。要想达到吞噬一切的目的，这种机器本身也需要精巧的设计。让机器进行自我复制是很难的，但是生物对自我复制则很擅长，或许会有某个疯子最终成功地制造出这样的机器。但在研究这项破坏性技术的过程中，也会产生许多轻而易举就可获得的成果。
最明显的风险就是精确到原子级的制造技术，这种技术对快速、低成本地制造武器之类的东西是很理想的。如果任何政府都能够“打印”大量自动式或半自动式武器（包括能够“打印”可制造更多武器的设备），那么在这样一个世界中，军备竞赛将会变得异常激烈，因而增加了不稳定因素，因为在敌人还没有获得巨大优势之前先发制人极具诱惑力。
武器也可以成为很小、很精密的东西。“智能毒物”的作用就像神经毒气，但是可以主动寻找攻击目标；或者，无处不在的“昆虫机器人”监视系统将让人们乖乖听话……这些好像都是完全有可能实现的。
5.尚未了解的未知事项
最令人不安的是，某个非常致命的事物也许就存在于某处，而我们对其一无所知。
寂静的天空可能就是此类事件的证据。找不到外星人的原因是生命或智能极其稀少吗？或者是智能生命会被彻底消灭？如果真的存在一个大过滤器，那么其他的文明肯定也注意到了。即便如此，也于事无补。
不管这种威胁是什么，一旦人们认识到它的存在，就一定是不可避免的。不管你是谁，也不管你是做什么的，都无回天之力。
请注意，我们对某个威胁不了解并不意味着我们对此无法推知。在一篇引起广泛关注的论文中，马克斯·格马克和尼克·博斯特罗姆根据地球的相对年龄，推算出发生某种系列风险的几率不到每年十亿分之一。
你会感到纳闷：为何气候变化和流星撞击没有进入这个名单？无论多么可怕的气候变化，都不可能使整个地球成为无法居住的地方。但是如果我们防御失措的话，气候变化的威胁还将加剧。小行星撞击肯定有可能彻底摧毁我们，但是那一定是在极其不幸的情况下。普通的哺乳动物物种能够生存大约100万年，因此其自然灭绝率大约为每年百万分之一。这比核战争的威胁要低得多，核战争在70年之后仍然是人类继续生存的最大威胁。
可得性启发法使我们过高地估计了通常出现于媒体中的风险，而对史无前例的风险则产生了低估。如果人类想在100万年以后仍然生活在地球上，那么我们就有必要纠正这种低估。
作者简介
安德斯·桑德伯恪，1972年7月生，斯德哥尔摩大学计算神经科学博士，现任牛津大学人类未来研究所研究员。主要研究低概率高冲击的风险管理、围绕新技术产主的社会和伦理问题，以及对未来技术能力的评估等。
延伸阅读
3D打印，又称积层制造，属于快速成形技术的一种，是一种以数字模型文件为基础直接制造任意形状的三维实体的技术。3D打印运用粉末状金属或塑料等可粘合材料，通过逐层堆叠累积的方式构造物体，即“层造形法”。3D打印与传统的机械加工技术不同，后者通常采用切削或钻孔技术（即减材工艺）实现。3D打印技术过去常被用于制造模型，现正逐渐用于一些产品的直接制造。一些高价值应用（比如髋关节或牙齿，或一些飞机零部件）已经有利用这种技术打印而成的零部件。
如果人类灭绝，最直接的损失是失去了所有活着的人。不过，损失可能远远不止于此。人类灭绝意味着祖祖辈辈创造的价值不复存在，未来所有将要诞生的生命以及这些生命可能创造的所有价值都会成空。没有了意识和智慧，价值本身会在宇宙中荡然无存。因此，我们有充分的理由去努力避免那些影响人类生存的危险发生。
在这篇文章中，我选择了我认为对人类生存威胁最大的五个隐患。但是，这并非定论，未知的威胁一直存在。
1.核战争
尽管到目前为止，核武器只被使用了两次（“二战”期间投放到广岛和长崎的原子弹），而且核武器的储备比冷战高峰期有所下降，但你如果认为核战争是不可能发生的，那就错了。
古巴导弹危机差一点变成核战争。假如这样的事件每69年发生一起，每三起这样的事件中有一起演变为核战争，那么发生这种灾难的几率就会上升到大约每年1/200。
更糟糕的是，古巴导弹危机只是最著名的一个事例，美苏之间核威慑的历史充满了千钧一发的危急时刻和危险的错误举措。由于国际紧张局势的变化，核战争爆发的概率已经有了改变。但是，如果说爆发核战争的概率远远不到每年1/1000，似乎是难以令人信服的。
大国之间全面的核战争将直接或间接地把数以亿计的人置于死地——那是一场难以想象的灾难。但是，这仍不足以威胁人类的生存。
同样，放射尘的危害也常常被夸大，它在小范围内是致命的，但对整个地球造成的危害相对有限。有人曾经提出，钴弹可以导致假设中的世界末日，其放射尘可以杀死任何人。然而实际上，这种武器制造起来是很困难、很花钱的，从客观上讲几乎不可能做到。
真正的威胁是核冬天的到来，也就是核爆产生的烟尘进入大气平流层，造成地球长期的低温和干燥。现代的气候模拟显示，核冬天会使全世界绝大部分地区在很多年内无法耕种。如果这种情况发生，数十亿人将会饿死，幸存者还可能会遭受其他威胁，如疾病。我们还不能确定这些烟尘会表现出怎样的性质，不同类型的烟尘可能造成不同的结果。因此目前我们没法对此做出估计。
2.生物工程流行病
与战争相比，自然流行病具有更大的杀伤力。然而，自然流行病不大可能成为人类生存的威胁：总会有人对病原体免疫，幸存者的后代将拥有更强的抗体。从进化的角度来讲，寄生物种也不会将它们的宿主全部消灭。这一点可以解释为什么随着梅毒的扩散，这个致命杀手渐渐变成了一种慢性病。
遗憾的是，我们现在可以使疾病变得更加厉害。比较著名的例子之一就是往鼠痘（老鼠的天花病毒）中植入一种基因，鼠痘的致命性就会增强许多，可以感染接种过疫苗的个体。最近对禽流感的研究表明，一种疾病的传染性可以人为地得到加强。
目前，有人故意释放毁灭性东西的风险不大。但是，随着生物技术越来越发达，费用也越来越低，更多的团体将能掌握这类技术。
生物武器的研发大都是由政府主导的，寻求的是可控制的杀伤力，因为消灭全人类在军事上是没有任何意义的。但是，总有一些人想做疯狂的事情，仅仅是因为他们有能力做到。另一些人拥有“更高”的目标，例如，日本奥姆真理教的狂热分子企图加速世界末日的到来，他们除了使用更加有威胁的神经毒气外，还使用生物武器。还有些人认为，如果没有人类，地球会更加美好。
由于生物武器的袭击和流行病爆发而死亡的人数看起来是呈幂律分布的——绝大部分袭击和流行病造成的伤亡很小，而极少数袭击和流行病却会造成极大的伤亡。根据当前掌握的数据看，由生物恐怖袭击造成全球流行病爆发的风险似乎很小，可是比起恐怖分子，政府使用生物武器所杀的人要多得多——“二战”期间，可能有多达400000人死于日本的生物战争计划——这恰恰也属于生物恐怖活动。随着生物技术的威力越来越强大，杀伤力更强的病原体也就更加容易设计了。
3.超级智能
智慧是非常具有威力的。我们在解决问题及团体协作方面略高一筹，让其他灵长类望尘莫及。其他灵长类能否继续生活在地球上，取决于人类的决定，而不是它们自己。对人类来说，拥有智慧的确是一种优势。因此，我们想方设法地提高个人和集体智慧，从提高认知能力的药物到人工智能软件，我们做出了很多努力。
有智慧的实体善于实现自己的目标，但如果目标设置不当，就可能利用自己的威力轻而易举地实现灾难性的目标。如果认为智能本身会使某个事物表现良好而又符合道德规范，那是没有道理的。某种超级智能系统可能会违反道德规则，即使这些规则是正确的。
更加令人担忧的是，在人工智能技术高歌猛进时，我们遇到了深奥的实际问题和哲学问题。人的价值都是些宽泛、复杂、不易表达的概念，即使表达了，我们也可能不明白是否传达了自己想表达的所有含义。
智能软件可能很快就会变得异常强大。智能软件的分级方式跟生物智能有所不同，它们会随着硬件的提升而“进化”，并依靠在不同硬件上运行而得到测试和升级。
有人曾经提出，当软件的性能足够卓越、其本身能够制造出更好的软件时，“智能爆炸”就成为可能。如果发生这种飞跃，那么智能体系将凌驾于世界其他体系之上。如果目标设置不当，就可能造成灾难。
我们不知道迅速而强有力的智能爆炸是否有可能发生，或许作为一个整体，我们目前的文明正在以最快的速度自我改善。但是，我们有充分的理由相信，一些技术可能会加速事态的发展，发展速度可能会远远超出我们的预期，使当前社会各界根本无法应对。同样，我们也不知道不同形式的超级智能的危险性到底有多大，什么样的减灾策略能够真正起到作用。对我们尚不掌握的未来技术，或者对比我们更强大的智能，我们很难估测情况到底会如何。在这份威胁名单中，这个威胁要么规模巨大，要么仅仅是虚幻。 这是少有人研究的领域。20世纪五六十年代，人们对“这代人”将实现超级智能极有信心，却没怎么关注安全问题。也许人们当时没有重视那个预测，或者，觉得超级智能是遥远的未来时代的问题。
4.纳米技术
纳米技术的本质是利用原子或分子的精度来控制物质。纳米技术本身并不危险，相反，该技术在绝大多数领域是一则好消息。问题是，就像生物技术一样，威力的提高也增加了滥用的可能性，这些都是难以防范的。
美国未来学家德雷克斯勒提出了一个被称为“灰色黏质”的古怪概念。这是一种由纳米机器人组成的东西，可以通过移动单个原子制造出任何人们想要的东西，土豆、服装或者是计算机芯片等，而不必使用传统的制造方式。德雷克斯勒担心，这样一种能够自我复制的机器人可能会失去控制，它们能疯狂地复制自身，在最短的时间内把地球变成一大团完全由纳米机器人组成的“灰色黏质”。要想达到吞噬一切的目的，这种机器本身也需要精巧的设计。让机器进行自我复制是很难的，但是生物对自我复制则很擅长，或许会有某个疯子最终成功地制造出这样的机器。但在研究这项破坏性技术的过程中，也会产生许多轻而易举就可获得的成果。
最明显的风险就是精确到原子级的制造技术，这种技术对快速、低成本地制造武器之类的东西是很理想的。如果任何政府都能够“打印”大量自动式或半自动式武器（包括能够“打印”可制造更多武器的设备），那么在这样一个世界中，军备竞赛将会变得异常激烈，因而增加了不稳定因素，因为在敌人还没有获得巨大优势之前先发制人极具诱惑力。
武器也可以成为很小、很精密的东西。“智能毒物”的作用就像神经毒气，但是可以主动寻找攻击目标；或者，无处不在的“昆虫机器人”监视系统将让人们乖乖听话……这些好像都是完全有可能实现的。
5.尚未了解的未知事项
最令人不安的是，某个非常致命的事物也许就存在于某处，而我们对其一无所知。
寂静的天空可能就是此类事件的证据。找不到外星人的原因是生命或智能极其稀少吗？或者是智能生命会被彻底消灭？如果真的存在一个大过滤器，那么其他的文明肯定也注意到了。即便如此，也于事无补。
不管这种威胁是什么，一旦人们认识到它的存在，就一定是不可避免的。不管你是谁，也不管你是做什么的，都无回天之力。
请注意，我们对某个威胁不了解并不意味着我们对此无法推知。在一篇引起广泛关注的论文中，马克斯·格马克和尼克·博斯特罗姆根据地球的相对年龄，推算出发生某种系列风险的几率不到每年十亿分之一。
你会感到纳闷：为何气候变化和流星撞击没有进入这个名单？无论多么可怕的气候变化，都不可能使整个地球成为无法居住的地方。但是如果我们防御失措的话，气候变化的威胁还将加剧。小行星撞击肯定有可能彻底摧毁我们，但是那一定是在极其不幸的情况下。普通的哺乳动物物种能够生存大约100万年，因此其自然灭绝率大约为每年百万分之一。这比核战争的威胁要低得多，核战争在70年之后仍然是人类继续生存的最大威胁。
可得性启发法使我们过高地估计了通常出现于媒体中的风险，而对史无前例的风险则产生了低估。如果人类想在100万年以后仍然生活在地球上，那么我们就有必要纠正这种低估。
作者简介
安德斯·桑德伯恪，1972年7月生，斯德哥尔摩大学计算神经科学博士，现任牛津大学人类未来研究所研究员。主要研究低概率高冲击的风险管理、围绕新技术产主的社会和伦理问题，以及对未来技术能力的评估等。
延伸阅读
3D打印，又称积层制造，属于快速成形技术的一种，是一种以数字模型文件为基础直接制造任意形状的三维实体的技术。3D打印运用粉末状金属或塑料等可粘合材料，通过逐层堆叠累积的方式构造物体，即“层造形法”。3D打印与传统的机械加工技术不同，后者通常采用切削或钻孔技术（即减材工艺）实现。3D打印技术过去常被用于制造模型，现正逐渐用于一些产品的直接制造。一些高价值应用（比如髋关节或牙齿，或一些飞机零部件）已经有利用这种技术打印而成的零部件。