论文部分内容阅读
当失败在抗争之后袭来，人类智力圣杯在手中碎裂的刺痛感瞬间从对局室里的胜负师传遍了现场。AI来啦！它走出实验室，离开棋盘，进入我们的日常生活，属于未来的力量席卷而来——而你，准备好了吗？
柯洁在二楼对局室中盘投子认负，楼下能够容纳千人的围棋峰会主厅里仿佛瞬间被摁下了静音键，寂静中大屏幕上柯洁抓子复盘的声音分外尖利。
这是“人机大战2.0版”三番棋战的第二局，也是人类棋手最接近不断进化的“围棋之神”的时刻——后台数据显示，柯洁前15手的落子选择与AlphaGo借助云端4个TPU的强大计算得出的实时最佳落子选择一模一样，前100手AlphaGo判断双方胜率相当。
由于漏算了一枚“劫材”，胜机转瞬逝去，尽管还有四十多分钟的保留时间，19岁的世界第一摇头认负。
大屏幕打出2比0的总比分时，一度被胜机鼓舞的棋迷和观战媒体记者全都静默无声。
雷呜
尽管此前棋圣聂卫平早就断言，“这个版本的AlphaGo有二十段的水平，人机之间实力悬殊，已经失去对抗的意义了。人类只能拜AI（人工智能）为师，叫它一声‘阿老师’。”柯洁自己也表示，相比于AI快速迭代升级，人类棋手的进步“像蜗牛一样”，“未来我们对阵AI的取胜机会将无限接近于零。”
然而当失败在抗争之后袭来时，人类智力圣杯在手中碎裂的刺痛感还是瞬间从对局室里的“胜负师”传遍了现场。
5月27日，AlphaGo如愿从世界排名第一的柯洁身上赢得了三连胜，获得中国棋院颁发的九段证书后，DeepMind实验室宣布“阿老师”将退出竞技围棋江湖——棋坛称雄原本就不是科学家们的抱负所在。
与超一流职业棋手绝顶争胜、淬火而生的高级通用算法将用以解决更复杂的问题——寻找新的疾病治疗方法、显著降低能源消耗、发明革命性的新材料等。“我们希望，AlphaGo的故事仅仅只是一个开始。”
AI来啦！
它走出实验室，离开棋盘，“手”捧智力圣杯，携带着属于未来的力量席卷而来。
未来已来——而你，准备好了吗？
其实，AI早就潜入了人们的日常生活——帮你美图，给你指路，为你推荐图书，继而洞悉你的小确幸和小确丧……
只是，这还远非它的全部。所有像柯洁这样通过学习而得到的专业技能都将被AI掌握——智能时代开启，专业技能领域即将“众神”崛起——股票经纪人、私人银行顾问、医生、律师、记者很快都须直面AI挑战，切身经历柯洁在这三盘棋间的起落激荡、绝境苦痛，类似卡车司机这样的简单劳动者则更难与AI交手。
人工智能即将掀起的“智能革命”，被视为人类史上又一次技术革命，自然语言处理和搜索专家吴军博士在《智能时代》一书中这样写道，“历史上影响力可以和正在进行的智能革命相比的，只有18世纪末始于英国的工业革命、19世纪下半叶始于美国和德国的第二次工业革命、‘二战’后以摩尔定律为标准的信息革命……这三次技术革命都有一个共同的特点，那就是它们对当时的社会产生了巨大的冲击，都需要经过大约半个世纪甚至更长的时间才能消化掉。”
“就个人而言，我毫不怀疑文明的下一个范式将会更好，我不会为此担心。”哈佛大学生物物理学研究员戴维·达尔林普尔（David Dalrymple）对未来持乐观预判，如果你被他的乐观所感染，最好再听听他的另外两个预判和忠告——
“随着机器人技术和人工智能的不断发展，人类劳动的价值很可能会逐渐降低。”
“人类作为个体，最终可能会从社会活动中消失。”
“如果我们因为不知道将要发生什么而无从应对的话，那么由此及彼的转变或许是令人痛苦的。”
……
柯洁与AlphaGo在家门口不远处对决，马云出来说话了，“这两天比较热闹，柯洁在下围棋。我觉得人类是最有意思的动物，在AlphaGo和人类下围棋之前，在网上绝大部分人认为机器肯定会被人搞死掉，打输了以后所有人都认为机器一定会搞死人，我们这么颠来倒去的‘认为’。我并不以为然。”
马云实际上带出了一个议题——当我们谈论AI时，我们该谈些什么？AI威胁论，是一个真问题吗？
物理学家霍金常被等同于“AI威胁论”代言人，实际上这位智者从未否定AI，只是一再强调要确保AI“按照人类的意志工作”，“人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。”
AI的安全部署并非一个新议题，美国人工智能协会（AAAI）成立于1979年，囊括了全世界顶级计算机科学家和人工智能专家，华為诺亚方舟实验室主任杨强博士是AAAI首位华人院士。2008至2009年，AAAI成立了“人工智能长期未来总筹论坛”，在此后的年度论坛上，专家们都在AI“目的导向的中性技术”上投入了大量关注。
2015年1月，在深度学习和强化学习算法将AI研究和应用拉升至一个全新高度时，霍金和“硅谷钢铁侠”埃隆·马斯克以及一些人工智能专家签署了一份关于人工智能的公开信，倡导“展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益。”
在这波AI热潮里，李开复分外活跃，他甚至在一个公开演讲中以“我不是李开复，我是人工智能”为主题倾力为AI代言。他还提前策划，用半年的时间与创新工场人工智能工程院副院长王咏刚合作完成了《人工智能》一书。这本书阅读门槛低，技术界面十分友好，“我觉得自己有责任‘布道’，尽力给大众提供认识AI的一些基础知识。” 李开复在赛前就断言，“柯洁毫无机会！而AI将成为时代最强音。”他自叹生不逢时，1983年他写信申请卡内基梅隆博士，对未来曾满怀憧憬——“AI是对人类学习历程的阐释，对人类思维过程的量化，对人类行为的澄清，以及对人类智能的理解。AI是人类认识并理解自己的最后一里路， 我希望加入到这个全新绽放、充满前景的未来科学领域。”
然而和同时代的人工智能研究者一样，他们的探索大多停留于实验室，在实际问题的解决上无法突破人们的心理阈值，更谈不上在产业层面的落地。
此次围棋峰会在赛间安排了一天的人工智能论坛，DeepMind团队核心成员以及母公司Alphabet的一众业界专家做了精彩的分享。硅谷传奇Jeff Dean也出席了本次大会，他大学本科毕业的论文就是“神经网络的定形训练”，“那个时候这个概念也是刚刚兴起，只是一个小规模的应用。接下来我毕业之后，工作的就是一些与人工智能并不是非常相关的计算机科学领域了。”2011年他和同伴一起开始尝试大规模网络化的机器监督学习，这一切都基于计算能力的巨大进步。
2016年是人工智能技术的“60大寿”，期间它曾经历两次低潮，李开复说自己这拨人亲身经历过寒冬，走到今日春暖花开深感不易，“不要消费AI！ AlphaGo虽然能击败世界冠军棋手，但是它体验不到手谈的乐趣，胜利不会为它带来愉悦感，也不会让它激动到产生想要拥抱一位‘他’爱的人的渴望。”
在他看来，AI威胁论目前似乎更适合科幻作家们去讨论，“机器学习永远不可能有自我意识，因为优化目标是人类给定的。我不相信‘奇点’，AI让我们更多思考人之为人的独特价值和生命真义，而不应该陷入恐慌。‘超级智能’和‘未来人工智能’碾压人类，我个人认为并不是一个可以科学推测出的必然结果。当然非必然事件不代表我们不要关注它，还是要有聪明的人来想它，但我认为更应该关注那些急迫需要解决或者预备的问题。”
电话里，语音搜索应用“出门问问”的创始人李志飞谈到AI威胁论，语气急促了起来，“很多这种威胁言论也好或者说是一些预测也好，并不是出自真正的工程师或者说是科学家，甚至连产品人员都不是，它更多是一种推测……可能就是看到这个趋势，就开始去想象各种各样的可能性，最后导致他就觉得这个东西是完全没有边界的……”
他说自己最近很少去参加层出不穷的各类AI主题论坛了，“总是那些人在那儿谈，这个东西又不可能一两个月技术就突然发生质的变化，我们都知道在实验室里的进步其实是非常艰难的。”
李志飞
语音识别技术的突破是深度学习在实际应用领域里的重要斩获，很多人可能已经惊喜地发现手机APP里的语音输入功能强大了许多。
研发者之一陈智峰博士在围棋峰会上将这都归功于算法的改进和计算力的提升，“以前我们用GPU训练同一个模型可能需要24小时，在TPU上只需要六小时。”他介绍说，人工智能其实是一个实验性的科学，研究者需要做非常多的实验，“计算力上四倍提速，原来一个星期做20个实验，现在可以做80个实验，这样意味着可以研究更多的可能性。这对整个算法的提高和模型的研究是非常重要的。现在一年取得的进步，是过去三到四年才能达到的。”
AlphaGo在4比1击败李世石一年后，机器自对弈就能够强力提升三个子，也得益于TPU的提速。DeepMind实验室创始人哈萨比斯说，“AlphaGo下得很不错，但它只是智能的雏形，本质上，我们还处于智能研究的初期。”
“出门问问”是国内自然语言识别行业的“独角兽”企业，C轮曾获数千万美元的融资，今年4月初又得到大众汽车（中国）集团 1.8 亿美元的独家 D 轮融资。虽然已经是语言识别这片蓝海的领航者，李志飞却坦言现在的语音搜索还不够聪明，这与自然语言识别的技术难题并未真正攻克直接相关。
“当你跟一个人说话，如果很嘈杂，他听不清楚，你不会说这个人笨，对不对？但是当你说句话他答非所问，他老是不明白什么意思，你就会觉得笨。还有些人普通话不标准，可是他讲话你也不会觉得他笨。语音识别现在解决了听的问题，但是对话中还不够聪明，接下来我们要解决的就是语音交互里面这个‘笨’的问题，然后把对话也好，理解也好，真正去做一个质的提升，我觉得这在未来两三年可能会发生。”
李志飞博士说，相比于人机对抗的胜负归属，自己思考最多的是AI产品的商业模式，“类似AlphaGo背后的技术以及核心技术在市场上的‘需要性’，我觉得是至关重要的。今天大家觉得这个围棋这么难的问题都能解决，那为什么我们不能多投点钱，咱们把另外一些真正对我们日常生活造成很多困扰的问题解决了。”
他担心AI被玄虚空谈和市场虚火所误，“今天的AI还是非常基础的，我们还是踏踏实实用它来解决一些具体问题吧，如果AI技术能够给社會带来价值，也许人们对它会有一个更正向的认识。”
雷鸣，百度创始七剑客之一，北大人工智能创新中心联合主任，被北大计算机相关专业学生亲切称为“师兄”的他当年毕业时放弃了七所美国大学的全额奖学金，加入彼时名不见经传的百度，成为百度搜索引擎的早期设计者和技术负责人之一。
30岁便因百度上市而获得财务自由的他，不想被具体事务所累，这些年更乐于为学界和产业界搭桥，增加沟通。
“人工智能前沿与产业趋势”是他专为北大在校学生开设的一门选修课，每周二晚上北大电教112教室都一座难求。雷鸣利用自己在业内的深厚人脉，为学弟学妹们邀来许多业界大咖做分享。 对于AlphaGo的完胜，他丝毫不觉得意外，“凡是人类的技能，凡是通過训练获得的技能，我认为人工智能都可以学会，并且做得最终都将比人好。”
在他看来人无法阻挡智能时代的来临，与其拿“是否会出现超级人工智能”和“奇点何时降临”这样的话题作谈资，一惊一笑一乐，不如认真思考下，“AI跟你的产业到底有什么结合点？什么东西会对你造成一个很可怕的颠覆性后果？什么能帮你？进而再思考你应该怎么做？”
“我经常说这个世界最可悲的事情是什么？就是你死了，但是你还不知道怎么死的，所以你要能知道你才能应对。知道自己怎么死的，不冤，如果更聪明一点儿的话就是说如果我知道了这个可能性，我能不能不死。”
人工智能在未来五到十年将要取代50%的工作，“教育怎么办？”这也是李开复眼中最急迫的问题之一。
雷鸣所接触的大多是北大、清华计算机相关专业的学生，似乎他们应该是最后一批被AI抢走工作的人，雷鸣却笑着说并非如此，“很多人毕业的时候很迷茫，不知道去干嘛，哪个地方工资高就去哪，我经常说这个挺愚蠢的，你应该看两点——第一是你喜欢什么就做什么，第二什么有未来，你就做什么！就这两点，如果说能够结合得好，当然还有一个是你擅长做什么，这几点能结合好的话，你的未来自然就会非常好。”
即便是清华、北大培养出的相关人才，也只有不到20%会从事纯学术研究，“其余的大多数是要到产业中去的，开这门课就是要让‘AI+产业’，学生在学校就要了解产业未来的发展趋势，不仅仅是说我要学一些算法，而且是说我要知道这些算法它将来会有什么用，怎么用，哪些学术上的研究会在具体产业产生深远的影响？”
Lily Peng是一名非执业医生，同时也是Alphabet公司在智能医疗领域的产品经理，她对美国、中国、印度的医生执业环境都有深入了解和细致观察，在本次围棋峰会上她特别强调从技术到产品道路漫长。
去年她带领团队与印度医院展开合作，深度学习算法使得计算机在图像识别准确率上效率精进，能够为当地经验有限的医生提供专业准确的视网膜3D筛查诊断建议。
当被问到在校医科学生应该如何应对AI的挑战以免一毕业就失业时，Lily Peng微笑着摇头，称AI并非抢走了医生的饭碗，“只是帮医生分担了繁琐、重复性的简单工作，留下更多的时间，让医生去关心病患，了解行业最新科研动态。”
至于医科大学的在校学生，Lily Peng建议他们对技术抱有兴趣的，可以多和计算机科学家进行沟通，去看看机器学习系统如何使用。专业医学背景出身的她坚信，AI想要在医学领域运用到最佳，需要医生、数学科学家、计算机科学家之间的通力协作。
“如果不想跨界，只想做医生也是可以的。将来这些算法都只是一个助力医生的工具，能够帮助医生最大效率地工作，节约出更多的时间到他们最擅长的领域当中。”她微微一笑就露出深深酒窝，“中国的大医生一天要看100个病人，AI产品必须嵌入到他们紧张的工作流程当中，做到真正好用、实用，才会被医生采纳。”
5月15日，李开复博士作为特邀嘉宾，在纽约哥伦比亚大学工程学院向2017届毕业生发表毕业演讲。哥大人工智能课程的选课人数从80人跃升至800人，作为83届“大师兄”，他鼓励台下的年轻人“拥抱必将到来的人工智能，把你的职业选择对准人工智能赛道”，也提醒他们，“用你们的选择让这个世界更加美好：选择拯救生命，而非残害生命；选择激励他人，而非打压别人；选择在富有同情心、不贪婪的机构工作；选择心怀世界和平而非妄图主宰世界的雇主。”
人工智能专家哈萨比斯
驭势科技CEO吴甘沙是雷鸣邀请到北大做专题分享的嘉宾之一，对于AI威胁论和奇点说，他笑着说，“这既无法证实，也无法证伪，但是如果要做出一个准确的时间预判的话，我觉得会非常民科（民间科学家）。”
“不要执着于球在哪里，而要更关注球会滚到哪里，”英特尔16年的职业训练将“顺时应变”深刻植入了吴甘沙的思维模式中，“吴军老师在《智能时代》那本书里不也写了吗？未来只有2%的人能参与智能机器的制造，他们也是真正掌握未来的人。与其想象未来，不如创造未来！”
但走出创业这一步，对于已经获得英特尔首席工程师、英特尔中国研究院院长的行业老兵来说并不容易，他还要放弃一笔即将到手的价值可观的期权。
“我开玩笑说以前在研究院的话就是叫955，9点上班，5点下班，一周5天。那时候也有互联网公司来挖，一问他们的工作作息是996就吓走了，但现在创业，我发现自己变成007了。”在“宇宙的中心”五道口简朴的办公室里，吴甘沙笑声朗朗。
“AI将成为整个社会变革的发动机，我看到这一切了，再也不能坐等时间逝去。那个时候的感觉就像过一个周末，轻轻松松地度过了星期六，星期天睡了一个慵长的午觉，一醒来就发现太阳快落山了……”他说那种感觉令自己心惊，“四十多的人了，还没有做出来让自己觉得非常有意义的东西，一晃就要退休了。”
2016年2月，他带着决心离开老东家英特尔，投入AI创业。异常顺利，一年多的时间竟然已经跳跃式完成了造出第一辆样车、产品投入实际场景、与车厂达成合作意向三大步——再次印证雷军著名的风口飞猪理论仍然有效。
他最初考虑的创业方向是家庭服务机器人，很快调整到无人驾驶这个被称为AI最大最难也是最有价值的应用场景。
谷歌、特斯拉、英特尔、英伟达、高通等行业巨头早已布局其中，吴甘沙采用的战略是“边缘式创新”，寻求限制条件下的“最优解”——在一些道路环境相对明确、半封闭的景区、工业园区让无人驾驶车辆“先跑起来”。 “中长期的目标就是在北京，比如说五环以内让无人驾驶来解决平时出行的问题。”他“保守”地估計，十年之内，这个听上去还有些脑洞大开的画面就会变成现实，“技术上的问题其实大部分都解决了，后面涉及的主要是生产成本的控制以及公共道路上无人驾驶法律法规的完善。”
2016年3月AlphaGo击败李世石是他融资的一个转折点，“我是去年2月5日拿到公司营业执照的，紧跟着就是春节，春节后我去融资，那个时候绝大多数的风投还是看不懂无人驾驶的。AlphaGo的出现，包括通用汽车花10亿美金买了一家创业公司等等这些就把整个的风向转过来了。”
2016年下半年，已经是投资人追着AI创业者跑了，一些曾经拒绝过吴甘沙的VC回过头来找他，他就给他们讲《大话西游》的一个桥段，“沙僧侧耳伏在地上，八戒问，‘你在干嘛？’沙僧听了一会儿说，‘好像有敌人来了。’八戒说，‘敌人是来了，就在眼前！’”他哈哈笑起来，“确实就是这样一种感觉，比我们当时想象的，还要发展得更快一些。”
吴甘沙和驭势汽车的一路飞驰是AI产业加速崛起的一个注脚。据《经济日报》报道，“2010年前，中国涉及人工智能及服务的企业不到20家，2016年这个数字已经飞速上升至709家。”“《全球人工智能发展报告2017》则显示，2012年后成立的人工智能企业，在数量上超过了之前20年所有人工智能企业数量的两倍。目前，美国人工智能企业已超过3000家，中国则超过了1500家。在资本市场，人工智能获得的风险投资也从2012年的5.89亿美元猛增至2016年的五十多亿美元。市场研究机构麦肯锡预计，到2025年，人工智能应用市场总值将达到1270亿美元。”
新的风口来临，太平洋两岸的大公司都全面转向，2016年，谷歌宣布自己的战略重心从“移动先行”转向“AI先行”。AI无国界更无时差，中国学者在2014-2015发表的与AI相关的论文数量已经超过了美国。百度推出无人车体验和开源深度学习平台，腾讯成立AI Lab研究院，多种算法、应用竞赛的举办，以及商汤、旷视、图普等创业公司新一轮融资的成功——一系列人工智能领域的新闻入选了2016科技媒体的年度盘点。
微软亚洲研究院院长洪小文笑言，在这样一个机会遍地的好时代，公司无论大小都有自己的竞争力，“静观其变，各凭本事。”
为延揽人才，孵化项目，李开复在今年年初成立了创新工场人工智能工程院，并担任院长。
有智力和资源储备的顺着风来的方向发足狂奔，在狭小的顶级AI人才池里，互联网巨头一掷千金，微软研究院院长彼得·李感叹，顶级人工智能研究员的薪水已经赶上了NFL四分卫球星。
高质量的大数据和强大的计算能力是深度学习算法统领江山的两大支撑，吸引科研人员加入大公司的除了惊人高薪，还有内藏宝藏的高质量大数据。
数据、人才全都汇聚于几个大公司，AI带来生产力巨大释放的同时，是否会进一步拉大信息革命已经形成的数字鸿沟，人类是否会迈入一个贫富分化最为严峻的世代？如果只有2%的人能够参与未来，人类普遍的智能是否会下降退化？人类如何在智能时代界定自我，获得价值？
这不是人类第一次在技术跃升时思考人生意义与人性根基。2002年学者福山就曾针对生物技术可能造成的危害，写下《我们的后人类未来》，发出预警，“生物技术会让人类失去人性……但我们却丝毫没有意识到我们失去了多么有价值的东西。也许，我们站在了人类与后人类历史这一巨大历史分水岭的另一边，但我们却没意识到分水岭业已形成，因为我们再也看不见人性中最为根本的部分。”
然而科学界始终相信恰恰是技术保障了和平和公义，避免了更大的恶。本次峰会上，几乎每一个接受专访的专家都将AI安全部署当作重要议题，乐于向公众和媒体分享他们的思考。
穆斯塔法是DeepMind实验室创始人之一——哈萨比斯负责技术，带领首席工程师席尔瓦和其他天才程序员研发AlphaGo这个超级围棋智能程序，穆斯塔法负责技术在市场上的落地，赚钱养活超级程序员们。“我们在公司创立的时候就明确了这一点，我们想要开发通用型学习技术去打造一个更好的世界，我们的技术必须秉持透明、合理的原则，让人类监督并且让人类掌控。”
哈萨比斯也对媒体记者强调技术应该具备“正确性”，“研发者需要给AI植入一个‘善’的动机，第一不能被用来制造杀人武器，第二不能被个别公司所控。”
与英国国家医疗体系NHF的合作是AlphaGo后台部分技术落地项目之一，“我们完全接受NHF的监督，绝对不会把用户的数据用到保险或者是其他的业务中去。”
为取得社会信任，降低公众对AI的应激反应，同时也保证行业能够健康发展，2016年9月，Facebook、谷歌、亚马逊、微软与IBM等五大科技界巨头联手成立了史上最强大的AI联盟——Partnership on AI，除顶级科研人才之外，联盟还邀请了NGO组织、社会学家共同参与议题讨论和行业标准制定。
活跃的AI组织还有马斯克牵头创建的Open AI ，以及华裔AI科学家李飞飞和盖茨夫人梅琳达·盖茨参与创立的旨在使女性以及有色人种参与到AI发展中去的“AI4ALL” 。
传奇软件工程师Jeff Dean眼中已经有一条清晰的AI发展路径，“医疗、无人驾驶，这些是走在比较前面的，都是比较快我们会看到行业改变的。需要人工智能的不只是科技型的公司，而且会是一个社会性的全面应用。各个行业先后不一，但都会探索性地先在小的问题解决上使用人工智能，之后渐渐拓宽人工智能在该行业的应用，逐渐发展到最终的‘端到端整体人工智能解决方案’。”
他对AI可能造成的失业问题并不讳言，也深觉社会各界都应该多讨论多了解多预备智能时代可能造成的社会问题，“有很多工作岗位以后可能会被人工智能替代，工作被自动化了，政府的政策方面能不能够及时地跟上，有没有这样一个配套，什么时候政府能够出台这些政策？这些也是我们关心的问题。”
由他主导研发的TensorFlow是第二代机器学习软件工具，“我们已经把它开源出来，我们的想法就是说在机器学习领域不应该是我们一家公司在做，我们希望和广大的对机器学习感兴趣的社区共同去推进这样一个技术，我们之间去实现共享。”
在硅谷山景城的办公室里，他可以看到这个开源社区的实时使用热度图，“像中国、欧洲的一些国家、美国、加拿大、巴西，这些都是属于高热度板块，AI没有国界之分。”
哈萨比斯参加开播70年的英国BBC的王牌节目《荒岛唱片》，人工智能媒体《量子位》编译发表了他与主持人柯斯蒂·杨的对谈——
主持人：在你看到AlphaGo获胜之后，你也很惊讶？
哈萨比斯：是的，我们对这台机器的能力很震惊，因为AlphaGo居然有自己的棋路，但是对于它能下这么好，我们没有感到惊讶，我们也很高兴它做的事情都是我们设计范围之内的事情，也就是下围棋。
主持人：所以你们会将善意程序编入机器？
哈萨比斯：是的，未来几十年，随着系统的发展，我们将更好理解需要编入什么样的控制程序，如何检查和解读系统的操作目的，我们也会在建造机器的过程中解决这些问题。
主持人：如果这些机器的设计者本身就存在恶意怎么办？
哈萨比斯：建构人工智能系统目前而言还是非常艰巨的工作，需要非常复杂的技能，这个世界上只有几百个人能够参与这项工作，其中大多数人都了解对方，整个人工智能社区很小，我自己一个人也没有办法完成整个项目。
我们的团队有400个人，其中250人拥有国际名校博士学位，而即使这样，我们的进展还是比较小的。这是一个原因。
另外一个原因是，在某个时间点，当我们已经更好地了解人工智能系统，以及我们需要怎样的立法才能解决相关问题，我们就会有更强力的，全世界都遵守的管制。
主持人：我可以长出一口气了。下一首曲子是什么？
（实习记者付端凌亦有贡献）
柯洁在二楼对局室中盘投子认负，楼下能够容纳千人的围棋峰会主厅里仿佛瞬间被摁下了静音键，寂静中大屏幕上柯洁抓子复盘的声音分外尖利。
这是“人机大战2.0版”三番棋战的第二局，也是人类棋手最接近不断进化的“围棋之神”的时刻——后台数据显示，柯洁前15手的落子选择与AlphaGo借助云端4个TPU的强大计算得出的实时最佳落子选择一模一样，前100手AlphaGo判断双方胜率相当。
由于漏算了一枚“劫材”，胜机转瞬逝去，尽管还有四十多分钟的保留时间，19岁的世界第一摇头认负。
大屏幕打出2比0的总比分时，一度被胜机鼓舞的棋迷和观战媒体记者全都静默无声。
尽管此前棋圣聂卫平早就断言，“这个版本的AlphaGo有二十段的水平，人机之间实力悬殊，已经失去对抗的意义了。人类只能拜AI（人工智能）为师，叫它一声‘阿老师’。”柯洁自己也表示，相比于AI快速迭代升级，人类棋手的进步“像蜗牛一样”，“未来我们对阵AI的取胜机会将无限接近于零。”
然而当失败在抗争之后袭来时，人类智力圣杯在手中碎裂的刺痛感还是瞬间从对局室里的“胜负师”传遍了现场。
5月27日，AlphaGo如愿从世界排名第一的柯洁身上赢得了三连胜，获得中国棋院颁发的九段证书后，DeepMind实验室宣布“阿老师”将退出竞技围棋江湖——棋坛称雄原本就不是科学家们的抱负所在。
与超一流职业棋手绝顶争胜、淬火而生的高级通用算法将用以解决更复杂的问题——寻找新的疾病治疗方法、显著降低能源消耗、发明革命性的新材料等。“我们希望，AlphaGo的故事仅仅只是一个开始。”
AI来啦！
它走出实验室，离开棋盘，“手”捧智力圣杯，携带着属于未来的力量席卷而来。
未来已来——而你，准备好了吗？
AI会成为人类的威胁吗？
其实，AI早就潜入了人们的日常生活——帮你美图，给你指路，为你推荐图书，继而洞悉你的小确幸和小确丧……
只是，这还远非它的全部。所有像柯洁这样通过学习而得到的专业技能都将被AI掌握——智能时代开启，专业技能领域即将“众神”崛起——股票经纪人、私人银行顾问、医生、律师、记者很快都须直面AI挑战，切身经历柯洁在这三盘棋间的起落激荡、绝境苦痛，类似卡车司机这样的简单劳动者则更难与AI交手。
人工智能即将掀起的“智能革命”，被视为人类史上又一次技术革命，自然语言处理和搜索专家吴军博士在《智能时代》一书中这样写道，“历史上影响力可以和正在进行的智能革命相比的，只有18世纪末始于英国的工业革命、19世纪下半叶始于美国和德国的第二次工业革命、‘二战’后以摩尔定律为标准的信息革命……这三次技术革命都有一个共同的特点，那就是它们对当时的社会产生了巨大的冲击，都需要经过大约半个世纪甚至更长的时间才能消化掉。”
“就个人而言，我毫不怀疑文明的下一个范式将会更好，我不会为此担心。”哈佛大学生物物理学研究员戴维·达尔林普尔（David Dalrymple）对未来持乐观预判，如果你被他的乐观所感染，最好再听听他的另外两个预判和忠告——
“随着机器人技术和人工智能的不断发展，人类劳动的价值很可能会逐渐降低。”
“人类作为个体，最终可能会从社会活动中消失。”
“如果我们因为不知道将要发生什么而无从应对的话，那么由此及彼的转变或许是令人痛苦的。”
……
柯洁与AlphaGo在家门口不远处对决，马云出来说话了，“这两天比较热闹，柯洁在下围棋。我觉得人类是最有意思的动物，在AlphaGo和人类下围棋之前，在网上绝大部分人认为机器肯定会被人搞死掉，打输了以后所有人都认为机器一定会搞死人，我们这么颠来倒去的‘认为’。我并不以为然。”
马云实际上带出了一个议题——当我们谈论AI时，我们该谈些什么？AI威胁论，是一个真问题吗？
物理学家霍金常被等同于“AI威胁论”代言人，实际上这位智者从未否定AI，只是一再强调要确保AI“按照人类的意志工作”，“人工智能的崛起，要么是人类历史上最好的事，要么是最糟的。我不得不说，是好是坏我们仍不确定。”
AI的安全部署并非一个新议题，美国人工智能协会（AAAI）成立于1979年，囊括了全世界顶级计算机科学家和人工智能专家，华為诺亚方舟实验室主任杨强博士是AAAI首位华人院士。2008至2009年，AAAI成立了“人工智能长期未来总筹论坛”，在此后的年度论坛上，专家们都在AI“目的导向的中性技术”上投入了大量关注。
2015年1月，在深度学习和强化学习算法将AI研究和应用拉升至一个全新高度时，霍金和“硅谷钢铁侠”埃隆·马斯克以及一些人工智能专家签署了一份关于人工智能的公开信，倡导“展开可以阻止潜在问题的直接研究，同时也收获人工智能带给我们的潜在利益。”
在这波AI热潮里，李开复分外活跃，他甚至在一个公开演讲中以“我不是李开复，我是人工智能”为主题倾力为AI代言。他还提前策划，用半年的时间与创新工场人工智能工程院副院长王咏刚合作完成了《人工智能》一书。这本书阅读门槛低，技术界面十分友好，“我觉得自己有责任‘布道’，尽力给大众提供认识AI的一些基础知识。” 李开复在赛前就断言，“柯洁毫无机会！而AI将成为时代最强音。”他自叹生不逢时，1983年他写信申请卡内基梅隆博士，对未来曾满怀憧憬——“AI是对人类学习历程的阐释，对人类思维过程的量化，对人类行为的澄清，以及对人类智能的理解。AI是人类认识并理解自己的最后一里路， 我希望加入到这个全新绽放、充满前景的未来科学领域。”
然而和同时代的人工智能研究者一样，他们的探索大多停留于实验室，在实际问题的解决上无法突破人们的心理阈值，更谈不上在产业层面的落地。
此次围棋峰会在赛间安排了一天的人工智能论坛，DeepMind团队核心成员以及母公司Alphabet的一众业界专家做了精彩的分享。硅谷传奇Jeff Dean也出席了本次大会，他大学本科毕业的论文就是“神经网络的定形训练”，“那个时候这个概念也是刚刚兴起，只是一个小规模的应用。接下来我毕业之后，工作的就是一些与人工智能并不是非常相关的计算机科学领域了。”2011年他和同伴一起开始尝试大规模网络化的机器监督学习，这一切都基于计算能力的巨大进步。
2016年是人工智能技术的“60大寿”，期间它曾经历两次低潮，李开复说自己这拨人亲身经历过寒冬，走到今日春暖花开深感不易，“不要消费AI！ AlphaGo虽然能击败世界冠军棋手，但是它体验不到手谈的乐趣，胜利不会为它带来愉悦感，也不会让它激动到产生想要拥抱一位‘他’爱的人的渴望。”
在他看来，AI威胁论目前似乎更适合科幻作家们去讨论，“机器学习永远不可能有自我意识，因为优化目标是人类给定的。我不相信‘奇点’，AI让我们更多思考人之为人的独特价值和生命真义，而不应该陷入恐慌。‘超级智能’和‘未来人工智能’碾压人类，我个人认为并不是一个可以科学推测出的必然结果。当然非必然事件不代表我们不要关注它，还是要有聪明的人来想它，但我认为更应该关注那些急迫需要解决或者预备的问题。”
电话里，语音搜索应用“出门问问”的创始人李志飞谈到AI威胁论，语气急促了起来，“很多这种威胁言论也好或者说是一些预测也好，并不是出自真正的工程师或者说是科学家，甚至连产品人员都不是，它更多是一种推测……可能就是看到这个趋势，就开始去想象各种各样的可能性，最后导致他就觉得这个东西是完全没有边界的……”
他说自己最近很少去参加层出不穷的各类AI主题论坛了，“总是那些人在那儿谈，这个东西又不可能一两个月技术就突然发生质的变化，我们都知道在实验室里的进步其实是非常艰难的。”
语音识别技术的突破是深度学习在实际应用领域里的重要斩获，很多人可能已经惊喜地发现手机APP里的语音输入功能强大了许多。
研发者之一陈智峰博士在围棋峰会上将这都归功于算法的改进和计算力的提升，“以前我们用GPU训练同一个模型可能需要24小时，在TPU上只需要六小时。”他介绍说，人工智能其实是一个实验性的科学，研究者需要做非常多的实验，“计算力上四倍提速，原来一个星期做20个实验，现在可以做80个实验，这样意味着可以研究更多的可能性。这对整个算法的提高和模型的研究是非常重要的。现在一年取得的进步，是过去三到四年才能达到的。”
AlphaGo在4比1击败李世石一年后，机器自对弈就能够强力提升三个子，也得益于TPU的提速。DeepMind实验室创始人哈萨比斯说，“AlphaGo下得很不错，但它只是智能的雏形，本质上，我们还处于智能研究的初期。”
“出门问问”是国内自然语言识别行业的“独角兽”企业，C轮曾获数千万美元的融资，今年4月初又得到大众汽车（中国）集团 1.8 亿美元的独家 D 轮融资。虽然已经是语言识别这片蓝海的领航者，李志飞却坦言现在的语音搜索还不够聪明，这与自然语言识别的技术难题并未真正攻克直接相关。
“当你跟一个人说话，如果很嘈杂，他听不清楚，你不会说这个人笨，对不对？但是当你说句话他答非所问，他老是不明白什么意思，你就会觉得笨。还有些人普通话不标准，可是他讲话你也不会觉得他笨。语音识别现在解决了听的问题，但是对话中还不够聪明，接下来我们要解决的就是语音交互里面这个‘笨’的问题，然后把对话也好，理解也好，真正去做一个质的提升，我觉得这在未来两三年可能会发生。”
李志飞博士说，相比于人机对抗的胜负归属，自己思考最多的是AI产品的商业模式，“类似AlphaGo背后的技术以及核心技术在市场上的‘需要性’，我觉得是至关重要的。今天大家觉得这个围棋这么难的问题都能解决，那为什么我们不能多投点钱，咱们把另外一些真正对我们日常生活造成很多困扰的问题解决了。”
他担心AI被玄虚空谈和市场虚火所误，“今天的AI还是非常基础的，我们还是踏踏实实用它来解决一些具体问题吧，如果AI技术能够给社會带来价值，也许人们对它会有一个更正向的认识。”
教育怎么办？
雷鸣，百度创始七剑客之一，北大人工智能创新中心联合主任，被北大计算机相关专业学生亲切称为“师兄”的他当年毕业时放弃了七所美国大学的全额奖学金，加入彼时名不见经传的百度，成为百度搜索引擎的早期设计者和技术负责人之一。
30岁便因百度上市而获得财务自由的他，不想被具体事务所累，这些年更乐于为学界和产业界搭桥，增加沟通。
“人工智能前沿与产业趋势”是他专为北大在校学生开设的一门选修课，每周二晚上北大电教112教室都一座难求。雷鸣利用自己在业内的深厚人脉，为学弟学妹们邀来许多业界大咖做分享。 对于AlphaGo的完胜，他丝毫不觉得意外，“凡是人类的技能，凡是通過训练获得的技能，我认为人工智能都可以学会，并且做得最终都将比人好。”
在他看来人无法阻挡智能时代的来临，与其拿“是否会出现超级人工智能”和“奇点何时降临”这样的话题作谈资，一惊一笑一乐，不如认真思考下，“AI跟你的产业到底有什么结合点？什么东西会对你造成一个很可怕的颠覆性后果？什么能帮你？进而再思考你应该怎么做？”
“我经常说这个世界最可悲的事情是什么？就是你死了，但是你还不知道怎么死的，所以你要能知道你才能应对。知道自己怎么死的，不冤，如果更聪明一点儿的话就是说如果我知道了这个可能性，我能不能不死。”
人工智能在未来五到十年将要取代50%的工作，“教育怎么办？”这也是李开复眼中最急迫的问题之一。
雷鸣所接触的大多是北大、清华计算机相关专业的学生，似乎他们应该是最后一批被AI抢走工作的人，雷鸣却笑着说并非如此，“很多人毕业的时候很迷茫，不知道去干嘛，哪个地方工资高就去哪，我经常说这个挺愚蠢的，你应该看两点——第一是你喜欢什么就做什么，第二什么有未来，你就做什么！就这两点，如果说能够结合得好，当然还有一个是你擅长做什么，这几点能结合好的话，你的未来自然就会非常好。”
即便是清华、北大培养出的相关人才，也只有不到20%会从事纯学术研究，“其余的大多数是要到产业中去的，开这门课就是要让‘AI+产业’，学生在学校就要了解产业未来的发展趋势，不仅仅是说我要学一些算法，而且是说我要知道这些算法它将来会有什么用，怎么用，哪些学术上的研究会在具体产业产生深远的影响？”
Lily Peng是一名非执业医生，同时也是Alphabet公司在智能医疗领域的产品经理，她对美国、中国、印度的医生执业环境都有深入了解和细致观察，在本次围棋峰会上她特别强调从技术到产品道路漫长。
去年她带领团队与印度医院展开合作，深度学习算法使得计算机在图像识别准确率上效率精进，能够为当地经验有限的医生提供专业准确的视网膜3D筛查诊断建议。
当被问到在校医科学生应该如何应对AI的挑战以免一毕业就失业时，Lily Peng微笑着摇头，称AI并非抢走了医生的饭碗，“只是帮医生分担了繁琐、重复性的简单工作，留下更多的时间，让医生去关心病患，了解行业最新科研动态。”
至于医科大学的在校学生，Lily Peng建议他们对技术抱有兴趣的，可以多和计算机科学家进行沟通，去看看机器学习系统如何使用。专业医学背景出身的她坚信，AI想要在医学领域运用到最佳，需要医生、数学科学家、计算机科学家之间的通力协作。
“如果不想跨界，只想做医生也是可以的。将来这些算法都只是一个助力医生的工具，能够帮助医生最大效率地工作，节约出更多的时间到他们最擅长的领域当中。”她微微一笑就露出深深酒窝，“中国的大医生一天要看100个病人，AI产品必须嵌入到他们紧张的工作流程当中，做到真正好用、实用，才会被医生采纳。”
5月15日，李开复博士作为特邀嘉宾，在纽约哥伦比亚大学工程学院向2017届毕业生发表毕业演讲。哥大人工智能课程的选课人数从80人跃升至800人，作为83届“大师兄”，他鼓励台下的年轻人“拥抱必将到来的人工智能，把你的职业选择对准人工智能赛道”，也提醒他们，“用你们的选择让这个世界更加美好：选择拯救生命，而非残害生命；选择激励他人，而非打压别人；选择在富有同情心、不贪婪的机构工作；选择心怀世界和平而非妄图主宰世界的雇主。”
成为2%
驭势科技CEO吴甘沙是雷鸣邀请到北大做专题分享的嘉宾之一，对于AI威胁论和奇点说，他笑着说，“这既无法证实，也无法证伪，但是如果要做出一个准确的时间预判的话，我觉得会非常民科（民间科学家）。”
“不要执着于球在哪里，而要更关注球会滚到哪里，”英特尔16年的职业训练将“顺时应变”深刻植入了吴甘沙的思维模式中，“吴军老师在《智能时代》那本书里不也写了吗？未来只有2%的人能参与智能机器的制造，他们也是真正掌握未来的人。与其想象未来，不如创造未来！”
但走出创业这一步，对于已经获得英特尔首席工程师、英特尔中国研究院院长的行业老兵来说并不容易，他还要放弃一笔即将到手的价值可观的期权。
“我开玩笑说以前在研究院的话就是叫955，9点上班，5点下班，一周5天。那时候也有互联网公司来挖，一问他们的工作作息是996就吓走了，但现在创业，我发现自己变成007了。”在“宇宙的中心”五道口简朴的办公室里，吴甘沙笑声朗朗。
“AI将成为整个社会变革的发动机，我看到这一切了，再也不能坐等时间逝去。那个时候的感觉就像过一个周末，轻轻松松地度过了星期六，星期天睡了一个慵长的午觉，一醒来就发现太阳快落山了……”他说那种感觉令自己心惊，“四十多的人了，还没有做出来让自己觉得非常有意义的东西，一晃就要退休了。”
2016年2月，他带着决心离开老东家英特尔，投入AI创业。异常顺利，一年多的时间竟然已经跳跃式完成了造出第一辆样车、产品投入实际场景、与车厂达成合作意向三大步——再次印证雷军著名的风口飞猪理论仍然有效。
他最初考虑的创业方向是家庭服务机器人，很快调整到无人驾驶这个被称为AI最大最难也是最有价值的应用场景。
谷歌、特斯拉、英特尔、英伟达、高通等行业巨头早已布局其中，吴甘沙采用的战略是“边缘式创新”，寻求限制条件下的“最优解”——在一些道路环境相对明确、半封闭的景区、工业园区让无人驾驶车辆“先跑起来”。 “中长期的目标就是在北京，比如说五环以内让无人驾驶来解决平时出行的问题。”他“保守”地估計，十年之内，这个听上去还有些脑洞大开的画面就会变成现实，“技术上的问题其实大部分都解决了，后面涉及的主要是生产成本的控制以及公共道路上无人驾驶法律法规的完善。”
2016年3月AlphaGo击败李世石是他融资的一个转折点，“我是去年2月5日拿到公司营业执照的，紧跟着就是春节，春节后我去融资，那个时候绝大多数的风投还是看不懂无人驾驶的。AlphaGo的出现，包括通用汽车花10亿美金买了一家创业公司等等这些就把整个的风向转过来了。”
2016年下半年，已经是投资人追着AI创业者跑了，一些曾经拒绝过吴甘沙的VC回过头来找他，他就给他们讲《大话西游》的一个桥段，“沙僧侧耳伏在地上，八戒问，‘你在干嘛？’沙僧听了一会儿说，‘好像有敌人来了。’八戒说，‘敌人是来了，就在眼前！’”他哈哈笑起来，“确实就是这样一种感觉，比我们当时想象的，还要发展得更快一些。”
吴甘沙和驭势汽车的一路飞驰是AI产业加速崛起的一个注脚。据《经济日报》报道，“2010年前，中国涉及人工智能及服务的企业不到20家，2016年这个数字已经飞速上升至709家。”“《全球人工智能发展报告2017》则显示，2012年后成立的人工智能企业，在数量上超过了之前20年所有人工智能企业数量的两倍。目前，美国人工智能企业已超过3000家，中国则超过了1500家。在资本市场，人工智能获得的风险投资也从2012年的5.89亿美元猛增至2016年的五十多亿美元。市场研究机构麦肯锡预计，到2025年，人工智能应用市场总值将达到1270亿美元。”
新的风口来临，太平洋两岸的大公司都全面转向，2016年，谷歌宣布自己的战略重心从“移动先行”转向“AI先行”。AI无国界更无时差，中国学者在2014-2015发表的与AI相关的论文数量已经超过了美国。百度推出无人车体验和开源深度学习平台，腾讯成立AI Lab研究院，多种算法、应用竞赛的举办，以及商汤、旷视、图普等创业公司新一轮融资的成功——一系列人工智能领域的新闻入选了2016科技媒体的年度盘点。
微软亚洲研究院院长洪小文笑言，在这样一个机会遍地的好时代，公司无论大小都有自己的竞争力，“静观其变，各凭本事。”
为延揽人才，孵化项目，李开复在今年年初成立了创新工场人工智能工程院，并担任院长。
AI安全与AI公平
有智力和资源储备的顺着风来的方向发足狂奔，在狭小的顶级AI人才池里，互联网巨头一掷千金，微软研究院院长彼得·李感叹，顶级人工智能研究员的薪水已经赶上了NFL四分卫球星。
高质量的大数据和强大的计算能力是深度学习算法统领江山的两大支撑，吸引科研人员加入大公司的除了惊人高薪，还有内藏宝藏的高质量大数据。
数据、人才全都汇聚于几个大公司，AI带来生产力巨大释放的同时，是否会进一步拉大信息革命已经形成的数字鸿沟，人类是否会迈入一个贫富分化最为严峻的世代？如果只有2%的人能够参与未来，人类普遍的智能是否会下降退化？人类如何在智能时代界定自我，获得价值？
这不是人类第一次在技术跃升时思考人生意义与人性根基。2002年学者福山就曾针对生物技术可能造成的危害，写下《我们的后人类未来》，发出预警，“生物技术会让人类失去人性……但我们却丝毫没有意识到我们失去了多么有价值的东西。也许，我们站在了人类与后人类历史这一巨大历史分水岭的另一边，但我们却没意识到分水岭业已形成，因为我们再也看不见人性中最为根本的部分。”
然而科学界始终相信恰恰是技术保障了和平和公义，避免了更大的恶。本次峰会上，几乎每一个接受专访的专家都将AI安全部署当作重要议题，乐于向公众和媒体分享他们的思考。
穆斯塔法是DeepMind实验室创始人之一——哈萨比斯负责技术，带领首席工程师席尔瓦和其他天才程序员研发AlphaGo这个超级围棋智能程序，穆斯塔法负责技术在市场上的落地，赚钱养活超级程序员们。“我们在公司创立的时候就明确了这一点，我们想要开发通用型学习技术去打造一个更好的世界，我们的技术必须秉持透明、合理的原则，让人类监督并且让人类掌控。”
哈萨比斯也对媒体记者强调技术应该具备“正确性”，“研发者需要给AI植入一个‘善’的动机，第一不能被用来制造杀人武器，第二不能被个别公司所控。”
与英国国家医疗体系NHF的合作是AlphaGo后台部分技术落地项目之一，“我们完全接受NHF的监督，绝对不会把用户的数据用到保险或者是其他的业务中去。”
为取得社会信任，降低公众对AI的应激反应，同时也保证行业能够健康发展，2016年9月，Facebook、谷歌、亚马逊、微软与IBM等五大科技界巨头联手成立了史上最强大的AI联盟——Partnership on AI，除顶级科研人才之外，联盟还邀请了NGO组织、社会学家共同参与议题讨论和行业标准制定。
活跃的AI组织还有马斯克牵头创建的Open AI ，以及华裔AI科学家李飞飞和盖茨夫人梅琳达·盖茨参与创立的旨在使女性以及有色人种参与到AI发展中去的“AI4ALL” 。
传奇软件工程师Jeff Dean眼中已经有一条清晰的AI发展路径，“医疗、无人驾驶，这些是走在比较前面的，都是比较快我们会看到行业改变的。需要人工智能的不只是科技型的公司，而且会是一个社会性的全面应用。各个行业先后不一，但都会探索性地先在小的问题解决上使用人工智能，之后渐渐拓宽人工智能在该行业的应用，逐渐发展到最终的‘端到端整体人工智能解决方案’。”
他对AI可能造成的失业问题并不讳言，也深觉社会各界都应该多讨论多了解多预备智能时代可能造成的社会问题，“有很多工作岗位以后可能会被人工智能替代，工作被自动化了，政府的政策方面能不能够及时地跟上，有没有这样一个配套，什么时候政府能够出台这些政策？这些也是我们关心的问题。”
由他主导研发的TensorFlow是第二代机器学习软件工具，“我们已经把它开源出来，我们的想法就是说在机器学习领域不应该是我们一家公司在做，我们希望和广大的对机器学习感兴趣的社区共同去推进这样一个技术，我们之间去实现共享。”
在硅谷山景城的办公室里，他可以看到这个开源社区的实时使用热度图，“像中国、欧洲的一些国家、美国、加拿大、巴西，这些都是属于高热度板块，AI没有国界之分。”
哈萨比斯参加开播70年的英国BBC的王牌节目《荒岛唱片》，人工智能媒体《量子位》编译发表了他与主持人柯斯蒂·杨的对谈——
主持人：在你看到AlphaGo获胜之后，你也很惊讶？
哈萨比斯：是的，我们对这台机器的能力很震惊，因为AlphaGo居然有自己的棋路，但是对于它能下这么好，我们没有感到惊讶，我们也很高兴它做的事情都是我们设计范围之内的事情，也就是下围棋。
主持人：所以你们会将善意程序编入机器？
哈萨比斯：是的，未来几十年，随着系统的发展，我们将更好理解需要编入什么样的控制程序，如何检查和解读系统的操作目的，我们也会在建造机器的过程中解决这些问题。
主持人：如果这些机器的设计者本身就存在恶意怎么办？
哈萨比斯：建构人工智能系统目前而言还是非常艰巨的工作，需要非常复杂的技能，这个世界上只有几百个人能够参与这项工作，其中大多数人都了解对方，整个人工智能社区很小，我自己一个人也没有办法完成整个项目。
我们的团队有400个人，其中250人拥有国际名校博士学位，而即使这样，我们的进展还是比较小的。这是一个原因。
另外一个原因是，在某个时间点，当我们已经更好地了解人工智能系统，以及我们需要怎样的立法才能解决相关问题，我们就会有更强力的，全世界都遵守的管制。
主持人：我可以长出一口气了。下一首曲子是什么？
（实习记者付端凌亦有贡献）