基于矩阵补全理论的网络流量估计与异常检测算法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:purpleplain
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,IP网络规模呈现指数式增长,并且已经发展成为一种异构开放的复杂网络。作为网络运营和网络管理最重要的数据源之一,网络流量数据蕴含着丰富的网络行为信息。然而,获取完整而准确的流量数据却极其困难,原因在于:1)对于大规模网络环境,直接测量全部流量数据代价太高,通常只能采样部分数据,因此获取的流量矩阵中存在大量的缺失值;2)网络流量是由用户多种通信行为共同产生的,流量数据中存在不同类型的流量异常。因此,如何对部分采样的流量数据进行缺失值估计和异常检测成为了网络管理和流量监测领域的热点问题。国内外研究者针对以上问题提出了诸多网络流量估计和异常检测算法,虽然这些算法在其各自的数据集上表现出了良好的性能,但它们在网络流量估计的准确性、异常检测的精确性、适用问题的规模性以及某些OD(Origin-Destination)对数据完全缺失的流量估计等方面仍然存在不足。针对上述不足,本文首先基于流量矩阵所固有的近似低秩性和时空相关性,引入了低秩矩阵补全理论,将流量矩阵估计和异常检测问题建模为一类融合异常流量先验结构信息的范数正则化矩阵补全模型,并采用机器学习领域中流行的ADMM(Alternating Direction Method of Multipliers)方法进行优化求解。仿真实验表明该算法能够有效地解决网络流量矩阵中所存在的数据缺失和异常检测问题。其次,考虑到传统的ADMM本质上仍属于串行优化方法,难以适用于大规模问题求解,我们进一步引入并行多块ADMM和SPGD(Stochastic Proximal Gradient Descent)来改进模型的求解效率,提出了一种基于并行多块ADMM的大规模网络流量估计和异常检测算法,该算法有效地解决了流量矩阵估计和异常检测的大规模问题。仿真结果表明,与主流的流量估计算法相比,我们所提出的算法具有更好的估计性能。此外,本文所提出的算法还可以对野值异常和结构化异常进行准确定位,这是大规模网络异常诊断的前提。最后,基于归纳型矩阵补全理论,本文还设计出了可以在某些OD对数据完全缺失情况下进行大规模流量估计和异常检测的算法,并且在合成数据集上取得了很好的效果。
其他文献
制定“黑启动”方案,能在电网大面积停电后快速而有序地恢复供电,减少停电带来的损失。现有研究大多推荐先恢复主干网架,再恢复配电网的黑启动模式,负荷停电时间较长。分布式发电(Distributed Generation,DG)启动时间短、响应迅速、控制方式灵活,为电网黑启动方案的制定提供了新的途径。在主网恢复阶段通过DG辅助配电网黑启动,需要先建立优化模型,再实施高效求解。现有研究无法同时满足以下要求
折臂式随车起重机是将货物装、卸及运输功能集于一体的专用起重设备。转台和臂架是随车起重机执行作业的工作机构,其机械性能和动态特性是决定性能强弱的核心因素。本文以湖南双达机电责任有限公司生产的SZD422折臂式随车起重机为研究对象,利用Proe软件和ADAMS软件建立折臂式随车起重机整车的三维模型和运动学模型,对运动学模型进行受力分析,结合静力学分析与拓扑优化方法对工作机构开展轻量化研究,最后,通过正
国家经济发展迅速和人民生活水平的提高,使得人民对美好生活日益向往。与之相应,流动人口作为城市的外来建设者,为城市建设贡献力量,流入城市的公共服务体系也为之不断做出改善。家庭作为人类最基本的组成单位,维系着辈分间的血缘关系,对于人类的发展有着至关重要的作用。如今人口流动的阻碍逐渐被打破,户籍制度改革效果明显,公共服务均等化推进落实。家庭化迁移的成本和代价逐渐减小,成为了新时代的人口流动模式。以家庭单
机器视觉技术运用领域的不断延伸对灾害检测技术的智能化发展也产生了一定影响。在各类灾害中,火灾属于影响范围较广的灾害之一,鉴于其属于可防可控范畴,将早期火灾检测与识别作为主要研究方向。各类传感器作为传统火灾检测的主要技术支撑,受外部环境影响严重,这促使了机器视觉技术在视频火灾检测预防领域的发展。火灾的发生常伴随两种事物形态:烟雾、火焰,因此对火灾的检测主要针对这两部分展开。根据烟雾和火焰的不同特征分
目前海外乳品业翘楚大举进军中国市场,国内乳品市场竞争波涛汹涌,跨境互联网电商、海外代购等也纷纷抢占市场。2013年国家对乳品业实施反垄断价格调整,贝因美及其他乳品企业相继下调产品价格,一定程度上对乳品业的销售业绩和净利润造成了冲击。在价格下降浪潮中生存发展的乳品行业紧接着又迎来了2017年国家奶粉新政规范的巨大挑战,贝因美凭借着自身的品质在国家奶粉新政中脱颖而出,赢得机遇的同时也面临着新产品研发、
为研究龙滩水库枯水期溶解态氮、磷营养元素的空间分布特征,在龙滩水库枯水期(2017年1月份)进行分层采样,现场测定水体理化性质及实验室分析水中营养盐浓度。结果表明:龙滩水
本文研究了2株乳杆菌的抗氧化能力,明确了植物乳杆菌Lactobacillus plantarum CGMCC 1.557和干酪乳杆菌Lactobacillus casei CGMCC 1.570的全发酵培养物及其组分的自由基清除
岩质边坡稳定性分析是工程建设中常见问题,如房屋建设开挖形成的切坡、水电工程库区的岸坡、道路的路堑边坡等,都涉及到岩质边坡稳定性问题。边坡工程中楔形体的破坏形式只考虑两个滑动面,而类楔形的底部未露出坡面,分析类楔形体的破坏形式需要考虑三个滑动面。运用传统方法如赤平投影法、极限平衡法等分析类楔形体的变形和位移存在一定的局限性,而三维DDA方法具有有限元法、离散单元法共有优势,同时为极限平衡法架起一座桥
随着生态文明建设加入我国五位一体总布局,以及城镇化建设对生态文明提出的更高要求,实现城镇化与生态安全的协调发展是实现区域社会经济可持续发展的必然需求,是建设美丽新疆的重要抓手。本文在借鉴国内外相关研究成果的基础上,构建适合北疆地区发展的城镇化指标体系与生态安全指标体系,采用变异系数法、熵值法、改进的TOPSIS模型、综合指数模型、障碍度模型、相对发展度模型、耦合协调度模型等方法对北疆地区城镇化与生
本文通过数据分析法,专家访谈法等方法,对山东省武术套路运动员为研究对象进行了相应的测试,目的是为了加强山东省各级体育行政部门目标管理建设,将竞技武术套路的教练员的目