论文部分内容阅读
近些年来,随着智能手机功能的日臻完善,移动互联网开始大规模兴起,相应的,各种OTT(Over The Top)业务也层出不穷。OTT业务指代互联网公司基于运营商的通信传输能力,向互联网用户提供各种数据传输服务如文字聊天,视频通话等,典型的例子如微信,Skype。然而由于OTT业务往往面向全球互联网提供服务,因此需要众多针对互联网相关服务的提供者(Internet Service Provider,ISP)合作给予支持,导致底层网络故障繁多,最终引发服务质量(Quality of Service,QoS)滑坡。传统的网络运维管理办法已难以为继,因此急需设计针对大规模网络的高效网络异常检测机制。本文针对OTT业务对网络运维所提出的种种挑战,在群智感知收集网络测量数据的场景下,设计了一种基于决策树建模的网络高延迟异常检测方法。我们首先原数据集进行特征工程,再利用实例聚类将相同特征的样本进行合并。随后将预处理后的数据集输入决策树进行建模,再根据决策树的拓扑结构和节点信息挖掘出潜在的高延迟网络异常。本文贡献分为如下三点:(1)本文提出了一种基于决策树拓扑信息和节点信息提取高延迟网络异常的数据挖掘算法。当前关于决策树的研究大多数是将其作为预测模型使用,在本工作中,决策树被作为分析模型并从中挖掘出异常信息。实验表明,我们的算法可以有效地从群智感知网络测量数据中挖掘出可靠的高延迟网络异常。(2)本文设计了“置信度”标准,用于客观的评价异常的影响严重程度。置信度的设计选择三个因素来量化异常严重程度:标准差、权重和与纯度增益。此外,我们通过数学分析验证了这些因素之间可以达成适当的平衡,从而表明置信度的设计具有客观性。(3)结合集成学习的思想,本文在单决策树数据挖掘算法的基础上提出了基于随机森林的异常检测算法。在原数据集的基础上利用自助采样法生成多个随机样本子空间从而作为每棵子树的输入。然后将树群中每棵子树的异常检测结果通过投票机制进行合并得到最终输出。本工作在含有五百万条样本的群智感知网络测量数据集的基础上进行了大量实验。数据集包含6226种应用程序和5000多个用户的网络环路延迟(Round Trip Time,RTT)。实验显示,本文提出的方法能够有效地检测出高延迟网络异常。除此之外,相较于单决策树的方法,基于随机森林的方法可以取得约25%的泛化性能的提高。