论文部分内容阅读
“在洛杉矶,警方通过数据分析,预测未来12小时内哪个地区最有可能发生犯罪;在伦敦金融城,一位交易员认为,数学计算可以成为发财‘秘笈’……这些迥然不同的领域如今被一种事物统一起来:数据量的大爆炸。”这是英国BBC品牌栏目《地平线》2013年4月发布的纪录片《大数据时代》的开篇一幕……
夏洛克·福尔摩斯,是一个由19世纪末的英国侦探小说家亚瑟·柯南·道尔所塑造的才华横溢的虚构侦探。福尔摩斯具有一种凭借洞察力穿透事物表象的天赋,以及从容易让人迷惑的诡计中挖掘出事实真相的超凡脱俗的识别能力……他足不出户就可以解决很多疑难问题。但如今,现代警察凭借大数据进行数字追凶,只需在电脑前点点鼠标,其速度比福尔摩斯还快,这是怎么回事呢?
在互联网时代,警察破案除了用到传统的档案、走访、电话记录等资料外,还会用到互联网上出现的信息。所有的这些信息汇集成海量的数据,如今有了一个更加时髦的称谓,那就是“大数据”。当然,大数据不仅仅是换了“马甲”的资讯,它与传统的资讯还是有区别的。
在信息时代,一个犯罪分子想要销声匿迹,除非把自己完全绝缘起来。这样无论司法机关掌握的大数据有多大,都难以查找到犯罪分子的个人电子信息了。但是,在如今这个信息技术已经渗透到生活的方方面面的时代,犯罪分子要想不留下任何电子信息,是几乎不可能的事情。比如,就算犯罪分子不上网、不使用手机、不看电视等,总之不和任何信息设备发生关联,也逃脱不了大数据的追踪。虽然犯罪分子不可能长期出现在道路、商店、码头、车站等公共场所,但是一旦出现,就可能被公共的或他人的电子设备拍摄到。即使犯罪分子长期蜗居在某个偏远地区的某幢房屋内,他也可能被谷歌的街景车拍摄到他自己从窗口探出的脑袋。
近些年来,利用大数据成功侦破的有名案例是波士顿连环爆炸案。2013年4月15日,美国波士顿在举办马拉松赛的过程中发生连环炸弹爆炸案,最终导致3人死亡、183人受伤。在案件发生后,警方保留了案发现场附近的所有监控录像以供比对、查找,波士顿警察局的官员称“仔细查看了所有录像的每一帧画面”。然后,警察走访了事发地点附近12个街区的居民,收集了可能存在的各种私人录像或照片,无论他们来自摄像机还是私人的手机。警方还大量收集网上信息,包括像Twitter、Facebook、Youtube等社交媒体上出现的相关相片、录像等,而且在这些流量巨大的网站上向公众提出了收集相关信息的请求。结果,警方从马拉松赛事沿途录像中寻觅到嫌疑人的踪迹,并从录像中截取出嫌疑人照片,其中包括嫌疑人正面的清晰影像,又结合其他信息,终于确认犯罪嫌疑人为兄弟俩,分别是26岁的塔米尔南·沙尼耶夫和19岁的乔卡·沙尼耶夫。4月19日凌晨,嫌疑人在水镇与警方发生枪战,塔米尔南在激战过程中身受重伤经送医不治身亡,乔卡趁乱逃脱。当日晚间,警方利用公共场所的红外线摄像机搜集到的数据,又一次准确定位了嫌疑人的位置,并且迅速将其包围。在与警方对峙数小时后,乔卡投降遭捕,追捕行动至此结束。
如何获取大数据
目前,获取大数据的渠道主要有两个:一个是电话公司,另一个是互联网公司。美国安全局就长期从电话运营商处获取到通话数据库,其中包含大量通话数据记录,例如通话时间与通话时长、相关电话号码以及移动设备的本地数据等等。这套数据库建立于2001年“9·11”恐怖袭击事件发生后不久,而且得到了多家电信运营商的支持。2006年,《今日美国》杂志发表文章称,这套通话数据库是“世界上规模最大的数据库”。该数据库拥有数以十亿计的电话记录数据,由超级计算机和数据分析师处理这些数据。
美国政府还长期从互联网信息中获取大数据。然而,他们目前无法真正捕捉并保存用户所产生的全部数据,更无法将其无限期加以留存。但随着信息技术的发展,这两项艰巨任务逐渐变得可能起来。由于全球互联网的IP地址都由美国的服务商来提供,这给美国监控全世界提供了便利。美国安全局已经在海底互联网光纤主干上安装了智能流量分析器,这是一种原理类似于“水龙头”的分流装置,借此可以获取全球互联网上的信息。
然而,比获取信息更难的是存储信息。根据思科公司的统计,2012年全球互联网流量每天达11亿GB,这需要110万个容量为1000GB的硬盘来储存这些数据。目前世界上90%以上的数据是最近几年才产生的,而在未来一段时期内,互联网上的数据每年又将增长50%。从存储物质来讲,目前要将互联网上的所有信息存储下来根本无法实现,更不要说实际使用这些信息了。当然,从技术发展的角度来看,将来是有希望做到的,这就是未来的DNA存储技术要做的事情。
由于目前DNA存储技术还没有进入实用阶段,安全和司法部门都只能从相对有限的大数据中获取线索。美国安全局每天所捕捉并保留的数据总量,也仅占每天全球互联网流量和通话记录中的一小部分,那都是通过关键词、关键图像、关键数据等筛选过后的信息。从互联网获取信息还遭遇另外一个难题,那就是密码问题。往往安全部门希望获得的信息却是经过加密的,比如恐怖组织和一些黑客会采取很先进的加密技术来传输自己的信息。要破译这些信息,不仅需要更好的技术,而且需要投入巨大的人力物力。同时,破译这些信息需要一定的时间,恐怖组织或犯罪分子会利用这个时间差来实施恐怖袭击或犯罪活动。因此,大数据时代警方所能利用的线索虽然很多,但是需要警方不断更新技术,才能更好且快速地从这些数据中挖掘出有用信息。这些技术被统称为“数据挖掘”。
利用数据挖掘技术破案
在案件侦破过程中,刑侦人员会对来源不同的各种证据和线索进行梳理,找出对侦破最有用的证据和线索。这些对已有资料的梳理、统计和分析工作,运用的就是数据挖掘技术。在司法领域,数据挖掘是一项比较古老的方法。在一百多年前,多国司法机构就知道建立违法犯罪档案。一旦某地出现新的违法犯罪活动时,侦破人员会搜索已有的档案,从中发现破案的线索。而犯罪学专家则研究这些档案,总结违法犯罪的动机、方式、工具等特征,为预防犯罪和侦破提供依据。这些都是较为古老的数据挖掘方法。到了信息科技时代,数据挖掘则以人工挖掘为主转变为以计算机挖掘为主。 数据挖掘萌芽于“情报深加工”,其实质就是发现情报背后的情报。在大数据时代,数据挖掘就是从海量数据中寻找到自己需要的信息,我们常用的百度、谷歌等搜索引擎完成的工作也属于数据挖掘的范畴。
目前,美国安全局已经开始利用数据挖掘技术追踪恐怖分子和监控社会情绪。比如,美国安全局和交通安全局曾经基于数据挖掘技术,开发出计算机辅助乘客筛选系统。该系统为美国本土各个机场提供接口,当乘客购买机票时,系统利用乘客提供的信息来确定乘客是否为需要额外安全筛选的人员。该系统将乘客购买机票时提供的信息输入到商用数据提供商提供的数据库,这些信息包括姓名、出生日期、居住地址以及电话号码。然后商用数据库将隐含特殊危险等级的数字分值传送给交通安全局。带有“绿色”分值的乘客将接受“正常筛选”,带有“黄色”分值的乘客将接受“额外筛选”,而带有“红色”分值的乘客将被禁止登机并将接受“法律强制性的关照”。
数据挖掘技术已经被用在刑事侦破领域,为破获一些疑难悬案、保障老百姓的人身和财产安全提供了新的技术支持。比如,寻找犯罪嫌疑人的人脸识别方法就需要用到数据挖掘技术。警方先通过计算机对嫌疑人进行画像,然后自动在目标人员数据库中搜索犯罪嫌疑人。不过,人脸识别技术要发挥高效破案的作用,前提就是要建立有大级别的人像数据库系统。也就是说,人脸识别的数据挖掘是需要建立在大数据的基础之上的。同样,指纹识别、虹膜识别、掌纹识别、步态识别等生物识别技术,也需要逐步完善的数据库给予支撑。
大数据时代的隐忧
英国牛津大学网络学院的维克托·尔耶·舍恩伯格教授在其新书《大数据时代》的引言中写道:“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……”美国政府已将大数据视为“未来的新石油”,并将对大数据的研究上升为国家意志。在美国的推动下,未来大数据之战的脚步声似乎越来越近。大数据是一股不可阻挡的时代潮流,它不仅可以帮助政府机关和司法机构提高办事效率,而且会影响到普通人日常生活的方方面面。
舍恩伯格在新书中还表示,在大数据时代,人们时刻都暴露在“第三只眼”之下:亚马逊监视着我们的购物习惯;谷歌监视着我们的网页浏览习惯;而微博似乎什么都知道,不仅窃听到了我们的心思,还能描绘出我们的社交关系网。因此,不仅是司法机构可以利用大数据来破案和预测潜在的犯罪,犯罪分子和犯罪团伙也可以利用大数据寻找到可以侵害的对象并实施犯罪。曾经的江洋大盗往往要实地勘察几个月甚至数年,以此来分析某人或某机构的习惯规律以实施犯罪行为,而在大数据时代,他只需要一台电脑和简单的黑客手段就可以完成这样的分析。目前,已经有不少犯罪团伙通过互联网上的海量数据,利用搜索引擎和密码破译等手段,挖掘出人们的私人信息和社交关系,以此实施盗窃、诈骗、敲诈勒索、拐卖儿童等犯罪行为。
除了可能被犯罪分子偷窥外,政府也可能正在利用大数据监视我们,黑客也可能侵入到政府的服务器查看政府所监控到的信息。如果没有合理的控制和防范措施,人们的隐私和行为模式很可能被政府监控人员或网络黑客所散布。这正是“棱镜”项目被泄漏之后,美国国内和国际社会反对声浪巨大的一个重要原因。如果个人网络信息保护问题得不到很好的解决,未来因大数据和数据挖掘引发的社会矛盾将会越来越多,越来越激烈。
夏洛克·福尔摩斯,是一个由19世纪末的英国侦探小说家亚瑟·柯南·道尔所塑造的才华横溢的虚构侦探。福尔摩斯具有一种凭借洞察力穿透事物表象的天赋,以及从容易让人迷惑的诡计中挖掘出事实真相的超凡脱俗的识别能力……他足不出户就可以解决很多疑难问题。但如今,现代警察凭借大数据进行数字追凶,只需在电脑前点点鼠标,其速度比福尔摩斯还快,这是怎么回事呢?
在互联网时代,警察破案除了用到传统的档案、走访、电话记录等资料外,还会用到互联网上出现的信息。所有的这些信息汇集成海量的数据,如今有了一个更加时髦的称谓,那就是“大数据”。当然,大数据不仅仅是换了“马甲”的资讯,它与传统的资讯还是有区别的。
在信息时代,一个犯罪分子想要销声匿迹,除非把自己完全绝缘起来。这样无论司法机关掌握的大数据有多大,都难以查找到犯罪分子的个人电子信息了。但是,在如今这个信息技术已经渗透到生活的方方面面的时代,犯罪分子要想不留下任何电子信息,是几乎不可能的事情。比如,就算犯罪分子不上网、不使用手机、不看电视等,总之不和任何信息设备发生关联,也逃脱不了大数据的追踪。虽然犯罪分子不可能长期出现在道路、商店、码头、车站等公共场所,但是一旦出现,就可能被公共的或他人的电子设备拍摄到。即使犯罪分子长期蜗居在某个偏远地区的某幢房屋内,他也可能被谷歌的街景车拍摄到他自己从窗口探出的脑袋。
近些年来,利用大数据成功侦破的有名案例是波士顿连环爆炸案。2013年4月15日,美国波士顿在举办马拉松赛的过程中发生连环炸弹爆炸案,最终导致3人死亡、183人受伤。在案件发生后,警方保留了案发现场附近的所有监控录像以供比对、查找,波士顿警察局的官员称“仔细查看了所有录像的每一帧画面”。然后,警察走访了事发地点附近12个街区的居民,收集了可能存在的各种私人录像或照片,无论他们来自摄像机还是私人的手机。警方还大量收集网上信息,包括像Twitter、Facebook、Youtube等社交媒体上出现的相关相片、录像等,而且在这些流量巨大的网站上向公众提出了收集相关信息的请求。结果,警方从马拉松赛事沿途录像中寻觅到嫌疑人的踪迹,并从录像中截取出嫌疑人照片,其中包括嫌疑人正面的清晰影像,又结合其他信息,终于确认犯罪嫌疑人为兄弟俩,分别是26岁的塔米尔南·沙尼耶夫和19岁的乔卡·沙尼耶夫。4月19日凌晨,嫌疑人在水镇与警方发生枪战,塔米尔南在激战过程中身受重伤经送医不治身亡,乔卡趁乱逃脱。当日晚间,警方利用公共场所的红外线摄像机搜集到的数据,又一次准确定位了嫌疑人的位置,并且迅速将其包围。在与警方对峙数小时后,乔卡投降遭捕,追捕行动至此结束。
如何获取大数据
目前,获取大数据的渠道主要有两个:一个是电话公司,另一个是互联网公司。美国安全局就长期从电话运营商处获取到通话数据库,其中包含大量通话数据记录,例如通话时间与通话时长、相关电话号码以及移动设备的本地数据等等。这套数据库建立于2001年“9·11”恐怖袭击事件发生后不久,而且得到了多家电信运营商的支持。2006年,《今日美国》杂志发表文章称,这套通话数据库是“世界上规模最大的数据库”。该数据库拥有数以十亿计的电话记录数据,由超级计算机和数据分析师处理这些数据。
美国政府还长期从互联网信息中获取大数据。然而,他们目前无法真正捕捉并保存用户所产生的全部数据,更无法将其无限期加以留存。但随着信息技术的发展,这两项艰巨任务逐渐变得可能起来。由于全球互联网的IP地址都由美国的服务商来提供,这给美国监控全世界提供了便利。美国安全局已经在海底互联网光纤主干上安装了智能流量分析器,这是一种原理类似于“水龙头”的分流装置,借此可以获取全球互联网上的信息。
然而,比获取信息更难的是存储信息。根据思科公司的统计,2012年全球互联网流量每天达11亿GB,这需要110万个容量为1000GB的硬盘来储存这些数据。目前世界上90%以上的数据是最近几年才产生的,而在未来一段时期内,互联网上的数据每年又将增长50%。从存储物质来讲,目前要将互联网上的所有信息存储下来根本无法实现,更不要说实际使用这些信息了。当然,从技术发展的角度来看,将来是有希望做到的,这就是未来的DNA存储技术要做的事情。
由于目前DNA存储技术还没有进入实用阶段,安全和司法部门都只能从相对有限的大数据中获取线索。美国安全局每天所捕捉并保留的数据总量,也仅占每天全球互联网流量和通话记录中的一小部分,那都是通过关键词、关键图像、关键数据等筛选过后的信息。从互联网获取信息还遭遇另外一个难题,那就是密码问题。往往安全部门希望获得的信息却是经过加密的,比如恐怖组织和一些黑客会采取很先进的加密技术来传输自己的信息。要破译这些信息,不仅需要更好的技术,而且需要投入巨大的人力物力。同时,破译这些信息需要一定的时间,恐怖组织或犯罪分子会利用这个时间差来实施恐怖袭击或犯罪活动。因此,大数据时代警方所能利用的线索虽然很多,但是需要警方不断更新技术,才能更好且快速地从这些数据中挖掘出有用信息。这些技术被统称为“数据挖掘”。
利用数据挖掘技术破案
在案件侦破过程中,刑侦人员会对来源不同的各种证据和线索进行梳理,找出对侦破最有用的证据和线索。这些对已有资料的梳理、统计和分析工作,运用的就是数据挖掘技术。在司法领域,数据挖掘是一项比较古老的方法。在一百多年前,多国司法机构就知道建立违法犯罪档案。一旦某地出现新的违法犯罪活动时,侦破人员会搜索已有的档案,从中发现破案的线索。而犯罪学专家则研究这些档案,总结违法犯罪的动机、方式、工具等特征,为预防犯罪和侦破提供依据。这些都是较为古老的数据挖掘方法。到了信息科技时代,数据挖掘则以人工挖掘为主转变为以计算机挖掘为主。 数据挖掘萌芽于“情报深加工”,其实质就是发现情报背后的情报。在大数据时代,数据挖掘就是从海量数据中寻找到自己需要的信息,我们常用的百度、谷歌等搜索引擎完成的工作也属于数据挖掘的范畴。
目前,美国安全局已经开始利用数据挖掘技术追踪恐怖分子和监控社会情绪。比如,美国安全局和交通安全局曾经基于数据挖掘技术,开发出计算机辅助乘客筛选系统。该系统为美国本土各个机场提供接口,当乘客购买机票时,系统利用乘客提供的信息来确定乘客是否为需要额外安全筛选的人员。该系统将乘客购买机票时提供的信息输入到商用数据提供商提供的数据库,这些信息包括姓名、出生日期、居住地址以及电话号码。然后商用数据库将隐含特殊危险等级的数字分值传送给交通安全局。带有“绿色”分值的乘客将接受“正常筛选”,带有“黄色”分值的乘客将接受“额外筛选”,而带有“红色”分值的乘客将被禁止登机并将接受“法律强制性的关照”。
数据挖掘技术已经被用在刑事侦破领域,为破获一些疑难悬案、保障老百姓的人身和财产安全提供了新的技术支持。比如,寻找犯罪嫌疑人的人脸识别方法就需要用到数据挖掘技术。警方先通过计算机对嫌疑人进行画像,然后自动在目标人员数据库中搜索犯罪嫌疑人。不过,人脸识别技术要发挥高效破案的作用,前提就是要建立有大级别的人像数据库系统。也就是说,人脸识别的数据挖掘是需要建立在大数据的基础之上的。同样,指纹识别、虹膜识别、掌纹识别、步态识别等生物识别技术,也需要逐步完善的数据库给予支撑。
大数据时代的隐忧
英国牛津大学网络学院的维克托·尔耶·舍恩伯格教授在其新书《大数据时代》的引言中写道:“大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……”美国政府已将大数据视为“未来的新石油”,并将对大数据的研究上升为国家意志。在美国的推动下,未来大数据之战的脚步声似乎越来越近。大数据是一股不可阻挡的时代潮流,它不仅可以帮助政府机关和司法机构提高办事效率,而且会影响到普通人日常生活的方方面面。
舍恩伯格在新书中还表示,在大数据时代,人们时刻都暴露在“第三只眼”之下:亚马逊监视着我们的购物习惯;谷歌监视着我们的网页浏览习惯;而微博似乎什么都知道,不仅窃听到了我们的心思,还能描绘出我们的社交关系网。因此,不仅是司法机构可以利用大数据来破案和预测潜在的犯罪,犯罪分子和犯罪团伙也可以利用大数据寻找到可以侵害的对象并实施犯罪。曾经的江洋大盗往往要实地勘察几个月甚至数年,以此来分析某人或某机构的习惯规律以实施犯罪行为,而在大数据时代,他只需要一台电脑和简单的黑客手段就可以完成这样的分析。目前,已经有不少犯罪团伙通过互联网上的海量数据,利用搜索引擎和密码破译等手段,挖掘出人们的私人信息和社交关系,以此实施盗窃、诈骗、敲诈勒索、拐卖儿童等犯罪行为。
除了可能被犯罪分子偷窥外,政府也可能正在利用大数据监视我们,黑客也可能侵入到政府的服务器查看政府所监控到的信息。如果没有合理的控制和防范措施,人们的隐私和行为模式很可能被政府监控人员或网络黑客所散布。这正是“棱镜”项目被泄漏之后,美国国内和国际社会反对声浪巨大的一个重要原因。如果个人网络信息保护问题得不到很好的解决,未来因大数据和数据挖掘引发的社会矛盾将会越来越多,越来越激烈。