论文部分内容阅读
随着第四代移动通讯技术的崛起和智能终端的迅速发展,移动设备的网络连入量占据互联网的份额也越来越大,在移动互联网时代,数据业务渐变成了用户的核心需求,数据价值也将会成为运营商的最宝贵价值所在。因此移动互联网业务数据的分析与审计就会变得非常必要且重要。然而,也正因为移动设备的普及和移动应用的全方位覆盖,使得数据随时随地都在产生,移动网络数据包小且杂、同一时刻的实时活跃连接数量庞大、智能终端的应用种类繁多成了移动互联网的主要特点,对于数据分析,处理速度要求也变的更高,高效率的实时流量处理才能令移动业务数据产生相应的价值。原有移动互联网审计平台是单进程多线程架构的系统,采用传统的Libpcap工具来捕获数据包,单纯地采用DPI技术进行数据包解析,这样的审计系统性能问题诸多,频繁的中断请求和数据拷贝,耗时的DPI业务识别,串行的单任务进程等原因严重限制了移动互联网审计平台的性能,当流量速率足够大时,原平台的处理效率令人堪忧。本文分析指出原系统严重限制数据处理效率的原因,为提高审计平台数据处理的能力以满足实时高速的移动业务数据细粒度审计的需求,提出了数据处理过程中新的阶段性工作改进方案,在数据采集阶段采用基于PF_RING+NAPI的数据包捕获方案,并结合零拷贝思想做出相应的改进措施,在数据解析阶段采用基于DPI/DFI相结合的数据解析方式,并提出了基于缓存命中的预处理方法,大幅度降低了 DPI处理压力。同时,采用多核多进程架构重新设计审计平台的数据分析模块,在充分利用硬件资源的同时,提升审计平台的整体性能。通过阶段化的验证试验,对数据采集阶段和数据解析阶段的方案分别做了性能测试,并展示多进程架构下的系统运行状态。实验表明,本文方案完成了高速移动网络环境下,实时稳定的业务数据处理审计任务,达到了预期研究目标,可助力运营商开展移动网络数据价值转换和移动互联网安全监管等后续工作。