论文部分内容阅读
網络水军成千上万，而如今，机器人也可以被用来当做网络水军，冒充真人刷五星好评、发布虚假评论、破坏网络秩序。别有用心者借助社交媒体的威力发动“机器人大军”，通过伪造的账户发布不实信息，严重威胁了民主投票、选举和商业活动的正常进行。面对这样一种“人机难辨”的威胁，我们该如何应对？
When science fiction writers first imagined robot invasions， the idea was that bots would become smart and powerful enough to take over the world by force， whether on their own or as directed by some evildoer. In reality， something only slightly less scary is happening. Robots are getting better， every day， at impersonating1 humans. When directed by opportunists， malefactors and sometimes even nation-states，2 they pose a particular threat to democratic societies， which are premised on being open to the people.
Robots posing as people have become a menace3. For popular Broadway shows （need we say Hamilton 4？）， it is actually bots， not humans， who do much and maybe most of the ticket buying. Shows sell out immediately， and the middlemen （quite literally， evil robot masters） reap millions in ill-gotten gains.
Philip Howard， who runs the Computational Propaganda Research Project at Oxford， studied the deployment of propaganda bots during voting on Brexit5， and the recent American and French presidential elections. Twitter is particularly distorted by its millions of robot accounts； during the French election， it was principally Twitter robots who were trying to make#MacronLeaks into a scandal. Facebook has admitted it was essentially hacked during the American election in November last year. In Michigan， Mr. Howard notes，“junk news was shared just as widely as professional news in the days leading up to the election.”
Robots are also being used to attack the democratic features of the administrative state. This spring， the Federal Communications Commission put its proposed revocation of net neutrality up for public comment.6 In previous years such proceedings attracted millions of （human） commentators. This time， someone with an agenda but no actual public support unleashed robots who impersonated （via stolen identities） hundreds of thousands of people，7 flooding the system with fake comments against federal net neutrality rules.
To be sure， today’s impersonation-bots are different from the robots imagined in science fiction： They aren’t sentient8， don’t carry weapons and don’t have physical bodies. Instead， fake humans just have whatever is necessary to make them seem human enough to“pass”： a name， perhaps a virtual appearance， a credit-card number and， if necessary， a profession， birthday and home address. They are brought to life by programs or scripts that give one person the power to imitate thousands. Using robots to fake support， steal tickets or crash democracy really is the kind of evil that science fiction writers were warning about. The use of robots takes advantage of the fact that political campaigns， elections and even open markets make humanistic assumptions， trusting that there is wisdom or at least legitimacy15 in crowds and value in public debate. But when support and opinion can be manufactured， bad or unpopular arguments can win not by logic but by a novel，16 dangerous form of force—the ultimate threat to every democracy.
当科幻小说家第一次想象机器人入侵的时候，他们的想法是机器人会变得足够聪明强大，以至于可以用武力占领世界，不管他们是主动地还是受到坏人的指使。事实上，正在发生的事情比这好不到哪里去。机器人正变得越来越擅长模仿人类。当受到投机者、犯罪分子，有时甚至是民族国家操纵的时候，机器人会对以向人民公开为前提的民主社会构成一种特殊的威胁。
假装成人类的机器人已经成为了一种威胁。对于火爆的百老汇演出（我们还需要明说这指的是《汉密尔顿》吗？）来说，实际上是机器人——而非人类——买下了许多，也可能是大部分的门票。演出门票当即销售一空，倒票的中间商们（确切地说是邪恶的机器人操纵者们）便赚了几百万的不义之财。
菲利普·霍华德是牛津大学计算机政治宣传研究项目的负责人，他对英国脱欧投票以及最近一次的美国和法国总统大选期间宣传机器人的使用进行了研究。几百万的机器人账户使得推特上的信息变得非常失真；在法国大选期间，正是推特上的机器人账户试图让“马克龙邮件泄露事件”升级为一桩丑闻。脸书已经承认，他们曾在去年11月份的美国大选期间曾被黑客攻击。霍华德先生说，在密歇根州，“在总统选举的前几天，垃圾新闻像专业新闻一样被广泛传播。”
机器人也正被用来破坏行政国家的民主特征。今年春天，美国联邦通信委员会将“废除网絡中立原则”的提案发布到网上供大众讨论。在以前，这样的提案讨论程序吸引了数以百万计的（真人）评论者的参与。但这一次，别有意图却没有获得真正公众支持的人，通过窃取身份的方式，发动了机器人来冒充成千上万的真人评论者，使得评论系统里充满了反对联邦网络中立原则的虚假评论。
毫无疑问的是，如今冒充真人网民的机器人与科幻小说中假想的机器人是不同的：他们没有感知，没有携带武器，也没有实体。相反，这些冒充人类的机器人只要与人类足够相似就可以“通过”验证：一个名字，或许还要一个虚拟的形象，一个信用卡号码，如果有必要的话，还需要一个职业、生日以及家庭住址。程序或脚本给了这些机器人生命，任何人都可以通过这些程序和脚本来获得冒充成千上万网民的能力。
由于机器人正被训练得越来越擅长模仿人类，这个问题几乎肯定会变得更加严重，甚至还会扩散到生活中的更多领域。考虑到产品评论栏被机器人评论淹没的程度（无节制地刷五星），由机器人填写的负面评价所导致的商业破坏也并不难预测。在未来的几年里，竞选活动资金的限制将会被（或者可能已经被）伪装成“小额”捐赠者的机器人大军所规避。实质性的投票是机器人的另一个明确目标——或许是它的终极目标。
迄今为止，我们已经满足于将这个问题留给科技行业。他们的关注点是建立防御措施，通常是以“验证码”（“全自动区分计算机和人类的公开图灵测试”）的形式，用那些让人讨厌的“请填写以下内容”来证明你不是机器人。但是将这一问题全部交给科技行业并不是一个长远的解决方案。一方面，这些防御体系并不能真正地阻止伪装成真人用户的机器人，反而会事与愿违地奖励那些通过测试的人。另一方面，或许对一个民主国家来说，最大的问题在于，像脸书和推特这样的公司缺乏实在的、经济上的动机来解决诸如数以百万的虚假用户破坏民主进程这些涉及公共利益的问题。 据推特估计，至少有两千七百万疑似假账户；研究者们估测真实数字接近四千八百万，但是推特公司对该问题几乎不采取任何措施。
这个问题既是一个公共问题，也是一个私人问题，用来冒充人类的机器人应被视为法律上的“人类的敌人”，就像海盗以及其他罪犯一样。这一点使得我们可以采用一个更具攻击性的策略：借用国家力量去对付那些使用机器人大军来破坏商业或者民主的人。
理想的反机器人运动将采取科技与法律相结合的手段。改良后的机器人检测系统能够帮助我们找到机器人的指使者，或者能够帮助国家安全部门发动反击，这在应对来自海外的机器人袭击时尤其必要。委托私人机构来追捕恶意机器人也是有可行空间的。一个简单的法律补救措施是运用名为“刀锋战士”的法规，它规定使用任何隐藏机器人真实身份冒充人类的程序都是违法的。自动化的程序需表明“我是个机器人”。当和虚假机器人打交道时，知道其真实身份会更加得心应手。
使用机器人来伪造支持，窃取选票或者破坏民主，也正是科幻作家过去向人们所警告的一种恶行。用机器人冒充人类利用了政治运动、选举甚至是开放市场都基于人本主义假设的这一弱点，相信群众是有智慧的或至少是有正当性的，并且公众辩论是有价值的。但当支持率和观点可以被伪造的时候，坏的、或是不得人心的观点也可以不通过逻辑而是通过一种新奇而又危险的力量取胜——这种力量是对每个民主国家的终极威胁。
1. impersonate： 冒充，假扮。
2. opportunist： 投机者；malefactor：犯罪分子，作恶者；nation-state：民族国家，一种国家的形式与意识形态，不只是一个政治及地理的单一实体，在文化与族群上也是一个完整共同体。
3. menace： 危险事物，威胁。
4. Hamilton： 《汉密尔顿》，根据美国开国元勋亚历山大·汉密尔顿生平故事改编的百老汇音乐剧，上演后极度火爆，创下了百老汇音乐剧史上票房纪录。
5. Brexit： 英国脱欧（即Britain exit）。
6. revocation：（对法律等的）废除，撤销；net neutrality： 网络中立原则，即要求互联网服务供应商及政府应平等处理所有互联网上的资料，不差别对待或依不同用户、内容、网站、平台、应用、接取装置类型或通讯模式而差别收费。
7. agenda： 秘密计划，秘密目标；unleash： 发动，释放。
8. sentient： // 有感知力的，有知觉的。
9. swamp： 淹没；with abandon： 恣意地，放纵地；sabotage： //人为破坏，蓄意妨碍。
10. evade： 规避，逃避。
11. deter： 制止，阻止；perversely： 反常地，事与愿违地。
12. hostis humani generis： 〈拉丁〉人类的敌人；outlaw： 不法之徒。
13. bear on： 对……施加压力。
14. deputize： 授权……为代表，委托……为代理。
15. legitimacy： 正当性，合法性。
16. manufacture： 捏造，虚构；novel： 新奇的，不同寻常的。
When science fiction writers first imagined robot invasions， the idea was that bots would become smart and powerful enough to take over the world by force， whether on their own or as directed by some evildoer. In reality， something only slightly less scary is happening. Robots are getting better， every day， at impersonating1 humans. When directed by opportunists， malefactors and sometimes even nation-states，2 they pose a particular threat to democratic societies， which are premised on being open to the people.
Robots posing as people have become a menace3. For popular Broadway shows （need we say Hamilton 4？）， it is actually bots， not humans， who do much and maybe most of the ticket buying. Shows sell out immediately， and the middlemen （quite literally， evil robot masters） reap millions in ill-gotten gains.
Philip Howard， who runs the Computational Propaganda Research Project at Oxford， studied the deployment of propaganda bots during voting on Brexit5， and the recent American and French presidential elections. Twitter is particularly distorted by its millions of robot accounts； during the French election， it was principally Twitter robots who were trying to make#MacronLeaks into a scandal. Facebook has admitted it was essentially hacked during the American election in November last year. In Michigan， Mr. Howard notes，“junk news was shared just as widely as professional news in the days leading up to the election.”
Robots are also being used to attack the democratic features of the administrative state. This spring， the Federal Communications Commission put its proposed revocation of net neutrality up for public comment.6 In previous years such proceedings attracted millions of （human） commentators. This time， someone with an agenda but no actual public support unleashed robots who impersonated （via stolen identities） hundreds of thousands of people，7 flooding the system with fake comments against federal net neutrality rules.
To be sure， today’s impersonation-bots are different from the robots imagined in science fiction： They aren’t sentient8， don’t carry weapons and don’t have physical bodies. Instead， fake humans just have whatever is necessary to make them seem human enough to“pass”： a name， perhaps a virtual appearance， a credit-card number and， if necessary， a profession， birthday and home address. They are brought to life by programs or scripts that give one person the power to imitate thousands. Using robots to fake support， steal tickets or crash democracy really is the kind of evil that science fiction writers were warning about. The use of robots takes advantage of the fact that political campaigns， elections and even open markets make humanistic assumptions， trusting that there is wisdom or at least legitimacy15 in crowds and value in public debate. But when support and opinion can be manufactured， bad or unpopular arguments can win not by logic but by a novel，16 dangerous form of force—the ultimate threat to every democracy.
当科幻小说家第一次想象机器人入侵的时候，他们的想法是机器人会变得足够聪明强大，以至于可以用武力占领世界，不管他们是主动地还是受到坏人的指使。事实上，正在发生的事情比这好不到哪里去。机器人正变得越来越擅长模仿人类。当受到投机者、犯罪分子，有时甚至是民族国家操纵的时候，机器人会对以向人民公开为前提的民主社会构成一种特殊的威胁。
假装成人类的机器人已经成为了一种威胁。对于火爆的百老汇演出（我们还需要明说这指的是《汉密尔顿》吗？）来说，实际上是机器人——而非人类——买下了许多，也可能是大部分的门票。演出门票当即销售一空，倒票的中间商们（确切地说是邪恶的机器人操纵者们）便赚了几百万的不义之财。
菲利普·霍华德是牛津大学计算机政治宣传研究项目的负责人，他对英国脱欧投票以及最近一次的美国和法国总统大选期间宣传机器人的使用进行了研究。几百万的机器人账户使得推特上的信息变得非常失真；在法国大选期间，正是推特上的机器人账户试图让“马克龙邮件泄露事件”升级为一桩丑闻。脸书已经承认，他们曾在去年11月份的美国大选期间曾被黑客攻击。霍华德先生说，在密歇根州，“在总统选举的前几天，垃圾新闻像专业新闻一样被广泛传播。”
机器人也正被用来破坏行政国家的民主特征。今年春天，美国联邦通信委员会将“废除网絡中立原则”的提案发布到网上供大众讨论。在以前，这样的提案讨论程序吸引了数以百万计的（真人）评论者的参与。但这一次，别有意图却没有获得真正公众支持的人，通过窃取身份的方式，发动了机器人来冒充成千上万的真人评论者，使得评论系统里充满了反对联邦网络中立原则的虚假评论。
毫无疑问的是，如今冒充真人网民的机器人与科幻小说中假想的机器人是不同的：他们没有感知，没有携带武器，也没有实体。相反，这些冒充人类的机器人只要与人类足够相似就可以“通过”验证：一个名字，或许还要一个虚拟的形象，一个信用卡号码，如果有必要的话，还需要一个职业、生日以及家庭住址。程序或脚本给了这些机器人生命，任何人都可以通过这些程序和脚本来获得冒充成千上万网民的能力。
由于机器人正被训练得越来越擅长模仿人类，这个问题几乎肯定会变得更加严重，甚至还会扩散到生活中的更多领域。考虑到产品评论栏被机器人评论淹没的程度（无节制地刷五星），由机器人填写的负面评价所导致的商业破坏也并不难预测。在未来的几年里，竞选活动资金的限制将会被（或者可能已经被）伪装成“小额”捐赠者的机器人大军所规避。实质性的投票是机器人的另一个明确目标——或许是它的终极目标。
迄今为止，我们已经满足于将这个问题留给科技行业。他们的关注点是建立防御措施，通常是以“验证码”（“全自动区分计算机和人类的公开图灵测试”）的形式，用那些让人讨厌的“请填写以下内容”来证明你不是机器人。但是将这一问题全部交给科技行业并不是一个长远的解决方案。一方面，这些防御体系并不能真正地阻止伪装成真人用户的机器人，反而会事与愿违地奖励那些通过测试的人。另一方面，或许对一个民主国家来说，最大的问题在于，像脸书和推特这样的公司缺乏实在的、经济上的动机来解决诸如数以百万的虚假用户破坏民主进程这些涉及公共利益的问题。 据推特估计，至少有两千七百万疑似假账户；研究者们估测真实数字接近四千八百万，但是推特公司对该问题几乎不采取任何措施。
这个问题既是一个公共问题，也是一个私人问题，用来冒充人类的机器人应被视为法律上的“人类的敌人”，就像海盗以及其他罪犯一样。这一点使得我们可以采用一个更具攻击性的策略：借用国家力量去对付那些使用机器人大军来破坏商业或者民主的人。
理想的反机器人运动将采取科技与法律相结合的手段。改良后的机器人检测系统能够帮助我们找到机器人的指使者，或者能够帮助国家安全部门发动反击，这在应对来自海外的机器人袭击时尤其必要。委托私人机构来追捕恶意机器人也是有可行空间的。一个简单的法律补救措施是运用名为“刀锋战士”的法规，它规定使用任何隐藏机器人真实身份冒充人类的程序都是违法的。自动化的程序需表明“我是个机器人”。当和虚假机器人打交道时，知道其真实身份会更加得心应手。
使用机器人来伪造支持，窃取选票或者破坏民主，也正是科幻作家过去向人们所警告的一种恶行。用机器人冒充人类利用了政治运动、选举甚至是开放市场都基于人本主义假设的这一弱点，相信群众是有智慧的或至少是有正当性的，并且公众辩论是有价值的。但当支持率和观点可以被伪造的时候，坏的、或是不得人心的观点也可以不通过逻辑而是通过一种新奇而又危险的力量取胜——这种力量是对每个民主国家的终极威胁。
1. impersonate： 冒充，假扮。
2. opportunist： 投机者；malefactor：犯罪分子，作恶者；nation-state：民族国家，一种国家的形式与意识形态，不只是一个政治及地理的单一实体，在文化与族群上也是一个完整共同体。
3. menace： 危险事物，威胁。
4. Hamilton： 《汉密尔顿》，根据美国开国元勋亚历山大·汉密尔顿生平故事改编的百老汇音乐剧，上演后极度火爆，创下了百老汇音乐剧史上票房纪录。
5. Brexit： 英国脱欧（即Britain exit）。
6. revocation：（对法律等的）废除，撤销；net neutrality： 网络中立原则，即要求互联网服务供应商及政府应平等处理所有互联网上的资料，不差别对待或依不同用户、内容、网站、平台、应用、接取装置类型或通讯模式而差别收费。
7. agenda： 秘密计划，秘密目标；unleash： 发动，释放。
8. sentient： // 有感知力的，有知觉的。
9. swamp： 淹没；with abandon： 恣意地，放纵地；sabotage： //人为破坏，蓄意妨碍。
10. evade： 规避，逃避。
11. deter： 制止，阻止；perversely： 反常地，事与愿违地。
12. hostis humani generis： 〈拉丁〉人类的敌人；outlaw： 不法之徒。
13. bear on： 对……施加压力。
14. deputize： 授权……为代表，委托……为代理。
15. legitimacy： 正当性，合法性。
16. manufacture： 捏造，虚构；novel： 新奇的，不同寻常的。