论文部分内容阅读
小说里的神探，不管是福尔摩斯还是柯南，都有一个共同的特点，那就是有一个具备强大分析能力的大脑，能够观察到细小的证据，并把这些证据关联起来，从而分析出犯罪事实。
但在现实中，神探不容易出现，罪犯却天天在行动。
幸运的是，在大数据时代，普通警察都有可能变成神探，甚至能预测犯罪。如果福尔摩斯穿越到现代，他将不必在现场频繁摆弄他的放大镜，也许他只要坐在电脑前，看看电脑屏幕，一个个奇案就可告破！
犯罪分子无处遁形
在互联网时代，警察破案除了用到传统的档案、走访资料、电话记录等信息外，还会用到互联网上出现的信息。所有的这些信息汇集成海量的数据，这些数据如今有了一个更加时髦的身份，那就是“大数据”。当然，大数据不仅仅是换了“马甲”的资讯，它与传统的资讯还是有区别的。大数据指的是资料量规模巨大的资讯，往往是在一个较大地域范围内所出现的所有或某类资讯，它们无法在短时间内利用传统的方法被人们所利用。
在信息时代，一个犯罪分子要想销声匿迹，除非把自己完全绝缘起来，这样无论警察掌握的大数据有多大，都难以查找到犯罪分子的个人电子信息了。但是，在如今这个信息技术已经渗透到生活方方面面的时代，犯罪分子要想不留下任何电子信息，已经是几乎不可能的事情了。就算犯罪分子不上网、不使用手机、不看电视等，总之不和任何信息设备发生关联，也可能逃不脱大数据的追踪。因为犯罪分子不可能长期远离道路、商店、码头、车站等公共场所，一旦出现，就可能被公共的或他人的电子设备拍摄到。
近来，利用大数据成功侦破的有名案例是波士顿连续爆炸案。2013年4月15日，美国波士顿在举办马拉松比赛的过程中发生连续炸弹爆炸案，结果导致3人死亡、183人受伤。在案件发生后，警方保留了案发现场附近的所有监控录像以供比对、查找，波士顿警察局的官员称“仔细查看了所有录像的每一帧画面”。然后，警察走访了事发地点附近12个街区的居民，收集可能存在的各种私人录像、照片，无论它们来自摄像机还是手机。警方还大量收集网上信息，包括像Twitter、Facebook、 Youtube等社交媒体上出现的相关照片、录像等，而且在这些流量巨大的网站上向公众提出了收集相关信息的请求。
结果，警方从马拉松赛事沿途录像中寻觅到嫌疑人的踪迹，并从录像中截取出嫌疑人照片，其中包括嫌疑人正面的清晰影像，并结合其他信息，宣布犯罪嫌疑人为兄弟俩，分别是26岁的塔米尔南·沙尼耶夫和19岁的乔卡·沙尼耶夫。4月19日凌晨，嫌疑人与警方发生枪战，塔米尔南在枪战中受重伤，送到医院后不治身亡，乔卡趁乱逃脱。当日晚间，警方利用公共场所的红外线摄像机搜集到的数据，准确定位了乔卡的位置，并且迅速包围。在与警方对峙数小时后，乔卡投降，追捕行动结束。
困惑“现代福尔摩斯”的是如何存储这些大数据
目前，获取大数据的渠道主要有两个：一个是电话公司，一个是互联网公司。美国国家安全局就长期从电话运营商处获取通话数据库，其中包含大量通话数据记录，例如通话时间与通话时长、相关电话号码以及移动设备的本地数据等。这套数据库建立于2001年“9·11”恐怖袭击事件后不久，而且得到了多家运营商的支持。2006年，《今日美国》杂志发表文章称，这套通话数据库是“世界上规模最大的数据库”。该数据库处理着数以十亿计的电话记录数据，有超级计算机和数据分析师专门处理这些数据。
美国还长期从互联网信息中获取大数据。然而，他们目前无法真正捕捉并保存用户们所产生的全部数据，更无法将其无限期加以留存。随着信息技术的发展，这两项艰巨任务逐渐变得可能起来。由于全球互联网的I P地址都由美国的服务商来提供，这给美国监控全世界提供了便利。美国国家安全局已经在海底互联网光纤主干上安装了智能流量分析器，这是一种原理类似于“水龙头”的分流装置，可以获取全球互联网上的信息。
然而，比获取信息更难的是存储信息。根据思科公司的统计，2012年全球互联网流量每天达11亿GB，这需要110万个容量为1 000GB的硬盘来容纳这些数据。目前世界上90%以上的数据是最近几年才产生的，而在未来一段时期内，互联网上的数据每年将增长50%，从存储介质来讲，目前要将互联网上的所有信息存储下来就已经无法实现，更不要说实际使用这些信息了。当然，从技术发展的角度来看，将来是有希望做到把所有的信息都存储下来，这就是未来的DNA存储技术所能做的事情。
由于目前DNA存储还没有进入实用阶段，人们只能从相对有限的大数据中获取线索。美国国家安全局每天所捕捉并保留的数据总量，也仅占每天全球互联网流量和通话记录中的一小部分，那都是通过关键词、关键图像、关键数据等筛选过后的信息。
从互联网获取信息还遭遇另外一个难题，那就是密码问题。安全部门希望获得的信息往往是经过加密的，比如恐怖组织和一些黑客会采取很先进的加密技术来传输自己的信息。要破译这些信息，不仅需要更好的技术，而且投入十分巨大。更重要的是，破译这些信息需要一定时间，恐怖组织或犯罪分子会利用这个时间差，有时在安全部门或司法部门破译信息之前，恐怖袭击或犯罪活动已经发生了。因此，大数据时代警方所能利用的线索虽然很多，但是需要警方不断更新技术，让自己更好更快地从那些数据中挖掘出有用信息。这些技术被统称为“数据挖掘”。
福尔摩斯的笔记本变成了数据挖掘技术
在侦破过程中，刑侦人员会对来源不同的各种证据和线索进行梳理，找出对侦破最有用的证据和线索。这些对已有资料的梳理、统计、分析工作，就是数据挖掘技术。
但在现实中，神探不容易出现，罪犯却天天在行动。
幸运的是，在大数据时代，普通警察都有可能变成神探，甚至能预测犯罪。如果福尔摩斯穿越到现代，他将不必在现场频繁摆弄他的放大镜，也许他只要坐在电脑前，看看电脑屏幕，一个个奇案就可告破！
犯罪分子无处遁形
在互联网时代，警察破案除了用到传统的档案、走访资料、电话记录等信息外，还会用到互联网上出现的信息。所有的这些信息汇集成海量的数据，这些数据如今有了一个更加时髦的身份，那就是“大数据”。当然，大数据不仅仅是换了“马甲”的资讯，它与传统的资讯还是有区别的。大数据指的是资料量规模巨大的资讯，往往是在一个较大地域范围内所出现的所有或某类资讯，它们无法在短时间内利用传统的方法被人们所利用。
在信息时代，一个犯罪分子要想销声匿迹，除非把自己完全绝缘起来，这样无论警察掌握的大数据有多大，都难以查找到犯罪分子的个人电子信息了。但是，在如今这个信息技术已经渗透到生活方方面面的时代，犯罪分子要想不留下任何电子信息，已经是几乎不可能的事情了。就算犯罪分子不上网、不使用手机、不看电视等，总之不和任何信息设备发生关联，也可能逃不脱大数据的追踪。因为犯罪分子不可能长期远离道路、商店、码头、车站等公共场所，一旦出现，就可能被公共的或他人的电子设备拍摄到。
近来，利用大数据成功侦破的有名案例是波士顿连续爆炸案。2013年4月15日，美国波士顿在举办马拉松比赛的过程中发生连续炸弹爆炸案，结果导致3人死亡、183人受伤。在案件发生后，警方保留了案发现场附近的所有监控录像以供比对、查找，波士顿警察局的官员称“仔细查看了所有录像的每一帧画面”。然后，警察走访了事发地点附近12个街区的居民，收集可能存在的各种私人录像、照片，无论它们来自摄像机还是手机。警方还大量收集网上信息，包括像Twitter、Facebook、 Youtube等社交媒体上出现的相关照片、录像等，而且在这些流量巨大的网站上向公众提出了收集相关信息的请求。
结果，警方从马拉松赛事沿途录像中寻觅到嫌疑人的踪迹，并从录像中截取出嫌疑人照片，其中包括嫌疑人正面的清晰影像，并结合其他信息，宣布犯罪嫌疑人为兄弟俩，分别是26岁的塔米尔南·沙尼耶夫和19岁的乔卡·沙尼耶夫。4月19日凌晨，嫌疑人与警方发生枪战，塔米尔南在枪战中受重伤，送到医院后不治身亡，乔卡趁乱逃脱。当日晚间，警方利用公共场所的红外线摄像机搜集到的数据，准确定位了乔卡的位置，并且迅速包围。在与警方对峙数小时后，乔卡投降，追捕行动结束。
困惑“现代福尔摩斯”的是如何存储这些大数据
目前，获取大数据的渠道主要有两个：一个是电话公司，一个是互联网公司。美国国家安全局就长期从电话运营商处获取通话数据库，其中包含大量通话数据记录，例如通话时间与通话时长、相关电话号码以及移动设备的本地数据等。这套数据库建立于2001年“9·11”恐怖袭击事件后不久，而且得到了多家运营商的支持。2006年，《今日美国》杂志发表文章称，这套通话数据库是“世界上规模最大的数据库”。该数据库处理着数以十亿计的电话记录数据，有超级计算机和数据分析师专门处理这些数据。
美国还长期从互联网信息中获取大数据。然而，他们目前无法真正捕捉并保存用户们所产生的全部数据，更无法将其无限期加以留存。随着信息技术的发展，这两项艰巨任务逐渐变得可能起来。由于全球互联网的I P地址都由美国的服务商来提供，这给美国监控全世界提供了便利。美国国家安全局已经在海底互联网光纤主干上安装了智能流量分析器，这是一种原理类似于“水龙头”的分流装置，可以获取全球互联网上的信息。
然而，比获取信息更难的是存储信息。根据思科公司的统计，2012年全球互联网流量每天达11亿GB，这需要110万个容量为1 000GB的硬盘来容纳这些数据。目前世界上90%以上的数据是最近几年才产生的，而在未来一段时期内，互联网上的数据每年将增长50%，从存储介质来讲，目前要将互联网上的所有信息存储下来就已经无法实现，更不要说实际使用这些信息了。当然，从技术发展的角度来看，将来是有希望做到把所有的信息都存储下来，这就是未来的DNA存储技术所能做的事情。
由于目前DNA存储还没有进入实用阶段，人们只能从相对有限的大数据中获取线索。美国国家安全局每天所捕捉并保留的数据总量，也仅占每天全球互联网流量和通话记录中的一小部分，那都是通过关键词、关键图像、关键数据等筛选过后的信息。
从互联网获取信息还遭遇另外一个难题，那就是密码问题。安全部门希望获得的信息往往是经过加密的，比如恐怖组织和一些黑客会采取很先进的加密技术来传输自己的信息。要破译这些信息，不仅需要更好的技术，而且投入十分巨大。更重要的是，破译这些信息需要一定时间，恐怖组织或犯罪分子会利用这个时间差，有时在安全部门或司法部门破译信息之前，恐怖袭击或犯罪活动已经发生了。因此，大数据时代警方所能利用的线索虽然很多，但是需要警方不断更新技术，让自己更好更快地从那些数据中挖掘出有用信息。这些技术被统称为“数据挖掘”。
福尔摩斯的笔记本变成了数据挖掘技术
在侦破过程中，刑侦人员会对来源不同的各种证据和线索进行梳理，找出对侦破最有用的证据和线索。这些对已有资料的梳理、统计、分析工作，就是数据挖掘技术。