面向网络数据协同分析的边缘节点设备关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:mini8912
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量数据分析技术,作为网络、信息安全防护中的关键步骤,在犯罪取证、威胁感知、问题溯源等任务中发挥着重要作用。面对爆炸式增长的数据流量,集中式的数据分析模式难以满足低延迟处理、低带宽占用、隐私保护等多方面的需求。边缘计算模式为上述问题提供了一种可行的解决方案。然而,面向数据协同分析的边缘节点设备,需要从系统的协作性、处理的高效性及实时性等多方面进行设计和优化。针对以上技术挑战,本文选用具有多核并行、协处理器加速和低功耗等特性的多核网络处理器为平台,从架构设计、调度算法、内存拷贝及数据挖掘算法优化多个层次,对边缘采集分析设备进行了深入的研究。本文主要研究成果和贡献如下:  1.面向协同分析的边缘节点架构:针对集中式分析模式下,边缘节点设备分析功能受限的问题,提出了基于多核处理器的边缘数据采集分析节点架构。通过在多核系统上部署异构操作系统,实现高效的数据采集与灵活的数据分析算法的部署。分别设计了数据采集单元、数据分析单元,并通过多核并行设计、基于亲和性的数据包调度、流式封装结构及聚合日志发送等优化策略,提升了系统的处理性能。实验结果表明,所提边缘节点设备架构能够满足高速网络数据实时采集与分析的性能需求。  2.多核数据包调度算法:针对多核改进流水线软件架构下,多协议数据包处理阶段的指令亲和性缺失问题,本文分析和研究了各处理阶段的协议相关性,引入了多协议处理映射模型和阶段处理时间模型,最终提出了协议感知的数据包调度算法PAPS。该算法以数据流为调度基本单位,将贪心策略和自适应调整系数引入HRW(Highest Random Weight)负载均衡算法。实验结果表明,算法可以保证多核负载均衡的同时,能够提升协议相关阶段的指令缓存命中率,相对于HRW算法,单数据包的平均处理时间降低10%以上。  3.数据载荷封装交付算法:针对网络高层协议分析过程中,数据包载荷封装交付环节的低效数据缓存和传输问题,本文引入了缓冲串加法模型,并建立了缓存状态转移模型,最终提出了流式的载荷字段封装交付算法SFED。SFED算法通过合理的嵌套AVP(Attribute Value Pair)封装,实现了长字段内容的流式交付,避免了对字段的缓存操作;同时,对短字段内容应用了聚合发送策略,有效提升了载荷的交付效率。实验结果表明,相对于朴素载荷字段封装交付算法PFED,SFED算法在系统单核平均吞吐量和CPS(Connections per Second)两个指标上分别提升可达45%和77%。  4.边缘数据分析算法优化:(1)以提升数据流识别算法在边缘分析场景下的鲁棒性和实时性为目标,本文基于BoF(Bag of Flows)模型以及指数衰减窗口结构,提出了EDW-Voting数据流识别算法。该算法提取数据流协商过程特征作为机器学习算法输入,保证分类识别过程的实时性。实验结果表明,在少量训练样本场景下,该算法将机器学习分类准确性提升达到10%,同时,分类时间较固定大小滑动窗口算法FSW-Voting更短。(2)以网络异常检测算法在协作分析模型下的分层部署为目标,本文提出了云端与缘端协作的异常检测架构,并以此为基础,提出了基于聚类算法和纯度阈值映射的缘端快速响应异常检测算法PCC。实验结果表明,PCC算法能够识别出网络流量中50%以上的攻击数据流,同时,分类准确性指标F1-score达到96.6%,误报率只有2.3%,从而能够降低云端负载及通信开销,减少总体的攻击响应时间。
其他文献
本课题在已建立的计算机远程教学系统基础上,进一步改进和完善整个系统的功能,通过借鉴国内外远程教学理论及实践经验,重点研究实现作业在线上传、批改以及在线实验仿真的方法。
尽管行政事业单位不具有市场评价的体制机制,但仍可以从产出的社会效益与投入的专项资金额度的比较中,来定性分析出预算管理的资金效益现状.
结合理论分析和实验设计研究了一种探测水下声信号的新方法—利用激光进行水下声信号探测。论文首先介绍了目前国内外广泛用于水下声信号探测的几种技术,引出现阶段一些专家
论文介绍了ASON的出现、发展与现状,分析对比了应用于ASON的信令协议,然后在此基础上重点对它的三个重要逻辑组成部分进行了描述.论文研究了自动交换光网络中控制信令的下发
该文的课题是根据超低码率应用的特点和要求,研究在MMX/SEE的多媒体支持平台上如何实现高效的H.263实时视频压缩.该文的主要贡献有如下几点.第一:利用C语言在PC机上实现了H.2
该文以某接收应答机的模拟接收系统研制为背景,以软件无线电和数字接收机为中心内容,对基于软件无线电技术的数字接收机的实现方法进行了研究.该文提出了将原有接收应答机的
该文对动态图像分析和多媒体监控系统进行了介绍,并详细分析了动态目标检测和跟踪在系统中的应用及特点.该文在研究常用的动态目标检测和跟踪方法的基础上,根据多媒体监控系
"宽带内容服务"是最近一两年才提出的新概念,这说明宽带内容服务仍处在一个刚刚起步的阶段,同时也说明了电信运营商已经把注意力由网络建设转向了内容服务.作者在与电信运营
在市场环境下,由于上网电价出现波动、基准折现率存在差异等问题,会给电网投资带来负面影响,进而造成供电企业出现经营风险,所以对市场环境下电网投资风险评估进行分析具有积
复习课又是化学课堂教学的主要课型之一,它对提高中考成绩举足轻重.本文结合笔者在跟岗期间上的“化学方程式专题复习”汇报课介绍了构建有情有趣有效的化学复习课堂的三种做