移动互联网审计平台数据处理方案的改进与实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:Java8657
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着第四代移动通讯技术的崛起和智能终端的迅速发展,移动设备的网络连入量占据互联网的份额也越来越大,在移动互联网时代,数据业务渐变成了用户的核心需求,数据价值也将会成为运营商的最宝贵价值所在。因此移动互联网业务数据的分析与审计就会变得非常必要且重要。然而,也正因为移动设备的普及和移动应用的全方位覆盖,使得数据随时随地都在产生,移动网络数据包小且杂、同一时刻的实时活跃连接数量庞大、智能终端的应用种类繁多成了移动互联网的主要特点,对于数据分析,处理速度要求也变的更高,高效率的实时流量处理才能令移动业务数据产生相应的价值。原有移动互联网审计平台是单进程多线程架构的系统,采用传统的Libpcap工具来捕获数据包,单纯地采用DPI技术进行数据包解析,这样的审计系统性能问题诸多,频繁的中断请求和数据拷贝,耗时的DPI业务识别,串行的单任务进程等原因严重限制了移动互联网审计平台的性能,当流量速率足够大时,原平台的处理效率令人堪忧。本文分析指出原系统严重限制数据处理效率的原因,为提高审计平台数据处理的能力以满足实时高速的移动业务数据细粒度审计的需求,提出了数据处理过程中新的阶段性工作改进方案,在数据采集阶段采用基于PF_RING+NAPI的数据包捕获方案,并结合零拷贝思想做出相应的改进措施,在数据解析阶段采用基于DPI/DFI相结合的数据解析方式,并提出了基于缓存命中的预处理方法,大幅度降低了 DPI处理压力。同时,采用多核多进程架构重新设计审计平台的数据分析模块,在充分利用硬件资源的同时,提升审计平台的整体性能。通过阶段化的验证试验,对数据采集阶段和数据解析阶段的方案分别做了性能测试,并展示多进程架构下的系统运行状态。实验表明,本文方案完成了高速移动网络环境下,实时稳定的业务数据处理审计任务,达到了预期研究目标,可助力运营商开展移动网络数据价值转换和移动互联网安全监管等后续工作。
其他文献
当今,随着城市化的进程,城市建筑物以及城市人口密度的不断增加,随之而来的严重灾害和重大突发性公共事件的威胁也越来越严重,因此,城市建筑物内人员的安全疏散研究也越来越重要。
近年来,随着互联网技术日新月异的发展,网络舆情的研究逐渐成为国内外专家学者研究的热点之一。目前对网络舆情的研究主要从新闻传播学、社会心理学、系统动力学等角度进行,研究
云计算是继上世纪80年代大型计算机到客户端-服务器的转变后的又一种巨变,近年来在全世界广泛普及。它将大量网络连接的普通计算资源整合起来,构成一个更大的计算资源池向用户
近年来,汽车数量急剧增加,智能交通系统已经成为当前交通管理的重要方向,车牌识别系统是智能交通系统的重要组成部分,它在违章抓拍、不停车收费、停车场管理以及对重要场所过往车
近年来,随着无线通讯技术和网络技术的迅猛发展,位置服务的应用越来越广泛,并将成为未来无线网络中最为重要的增值业务之一。位置服务是无线网络增值业务的一种,它通过无线网络与
软件可靠性测试能发现程序中影响软件可靠性的缺陷,是进行软件可靠性评估的前提。近年来,基于使用模型的可靠性测试方法研究成为软件工程领域的一个研究热点。这种方法用软件
细分方法是一种新的离散造型技术。由于其不仅具有非均匀有理B样条(NURBS)的局部支撑性、仿射不变性等良好性质,而且具有参数曲面不具有的整体连续性和拓扑任意性,在表示一些较
图像去噪是计算机图像处理中的重要分支之一。图像在获取、传输和处理的过程中会不可避免地引入不可预测的噪声,从而引起图像质量的下降,以致影响图像进一步的分析与应用。因此
由于数字签名是信息安全必不可少的部分,所以签名技术就成为研究热点之一。数字签名是一种实用的认证技术。随着计算机和网络通信技术的发展,应用需求的复杂化,数字签名技术也从
虚拟企业以提高制造业的竞争优势为目标。因其优化和整合资源的独特优势以及快速的市场响应能力,虚拟企业将成为21世纪最重要的商业形式之一。鉴于Agent的自治性、主动性、反