论文部分内容阅读
【摘要】 云计算光纤网络中大数据出现异常负载易导致网络中断，建立提取云计算光纤网络大数据异常负载的检测模型，采用高阶统计量分析法进行特征重构，结合极限学习法进行异常负载检测自适应修整，根据高阶统计异常谱分布实现大数据异常负载检测。
【关键词】 云计算技术;大数据;网络异常流量检测
【DOI编码】 10.3969/j.issn.1674-4977.2021.06.017
Analysis of Network Abnormal Traffic Detection Methods in
Big Data Environment
A Si-han
（College of Youth Politics，Inner Mongolia Normal University，Hohhot 021000，China）
Abstract： The abnormal load of big data in cloud computing optical fiber network is easy to cause network interruption. The paper proposes to extract the abnormal load detection model of cloud computing optical fiber network big data，adopts the high-order statistical analysis method for feature reconstruction，and combines the limit learning method for the adaptive dressing of abnormal load detection. The abnormal load detection of big data is realized according to the high-order statistical anomaly spectrum distribution.
Key words： cloud computing technology;big data;abnormal network traffic detection
隨着互联网的发展，网络技术广泛应用于生活中，许多公共场所布设移动WiFi接入点，为人们获取信息提供便捷条件。人们应用网络服务时将个人信息、银行账户等敏感数据存储到网络中，重要数据传递带来安全隐患造成网络安全问题突出。本文利用云计算技术对大数据下网络异常流量进行检测，并测试检测效果。
1 大数据下网络异常流量检测方法研究
光纤网络利用光在玻璃纤维实现光波通信，大数据集成调度，然后通过交换机分配IP。光纤通信传输距离远，云计算环境通过波分复用技术使光强度变化，通信中受到干扰导致通信信道配置失衡，需要对云计算光纤网络大数据异常负载优化检测，提高网络通信的输出保真性[1]。云计算光纤网络中大数据异常负载检测模型研究需要提取大数据负载异常特征，实现异常负载检测。
2 网络异常数据检测大数据分析平台
网络异常流量分为DDoS、Network Scan等类型，异常流量类型可从目的IP地址、源IP地址、字节数等特征区分[2]。DDos异常流量可通过特征二四五七检测;Network Scan异常流量可采用多个网络地址对主机端口扫描动作;Flash Crowd异常流量由异常用户对访问资源申请动作。本文以影响网络安全异常流量检测为研究内容，运用现有数据样本对建立检测模型训练，对训练后识别分析模型检验[3]。
研究异常流量类型包括U2R攻击类型、Probing攻击类型等，需要对数据特征提取分析，对入侵事件进行分类[4]。应用多种入侵事件特征数据，包括离散不间断协议、离散常规行为、离散接点状态、不间断数据源到目标数据比特数、持续创建新文件个数等。为避免两种衡量标准相互干扰，需对离散数据采用连续化操作。云计算平台迅速占领市场，目前应用广泛的是Apache开源分布式平台Hadoop，Hadoop云计算平台由文件系统、分布式并行计算等部分组成[5]。Map Reduce将传统数据处理任务分为多个任务，提高计算效率（见图1）。Map Reduce编程核心内容是对Map函数进行特定动作定义，Map核心任务是对数据值读取，Input Format类将输入样本转换为key/value对。发现tasktracker模块处于空闲状态，平台把相应数据Split分配到Map动作中，采用create Record Reader法读取数据信息，tasktracker处于工作状态程序进入等待。
3 大数据分析模型
随着待处理数据规模剧增，单台计算机处理数据速度过于缓慢，云计算系统以Hadoop为平台基础，提高计算效率。基于Hadoop平台对网络异常流量操作，向平台提交网络流量检测请求，工程JAR包运行，通过Job Client指令把作业发送到Job Tracker中，从HDFS中获取作业分类情况。Job Tracker模块执行任务初始化操作，运用作业调度器可实现对任务调度动作。
任务分配后进入Map阶段，所需数据在本地磁盘中进行存储，依靠计算机Java虚拟机执行实现JAR文件加载，Task Tracker对作业任务处理，需要对文件库网络流量特征测试，Map动作结果在本地计算机磁盘中存储。系统获得Map动作阶段计算结果后对网络流量分类，中间结果键值相同会与对应网络流量特征向量整合，Reduce Task模块对Map Task输出结果排序。Reduce动作完成后，操作者通过JobTracker模块获取任务运行结果参数，删除Map动作产生相应中间数据。BP神经网络用于建立网络流量检测模型，MapReduce平台具有高效计算优势，最优参数结果获得需多次反复计算优化，MapReduce平台单词不能实现神经网络计算任务，采用BP神经网络算法建立网络流量检测模型会加长计算时间。 本文采用支持向量机算法建立网络流量检测模型。支持向量机以统计学理论为基础，达到经验风险最小目的，算法可实现从少数样本中获得最优统计规律。设定使用向量机泛化能力训练样本为（x[i]，y[i]），i=1，2，…，I，最优分类平面为wx+b=0，简化为s.t.[yi]（w[?]x[i]+b）-1≥0，求解问题最优决策函数[f（x）=sgn[i=1lyiai（x?xi）+b]]，支持向量SVM把样本x转化到特定高维空间H，对应最优决策函数处理为[f（x）=sgn[i=1lyiaiK（x?xi）+b]]。云计算Hadoop平台为建立网络异常流量检测模型提供便捷。MapReduce模型通过Reduce获得整体支持向量AIISVs，通过Reduce操作对SVs收集，测试操作流量先运用Map操作对测试数据子集计算，运用Reduce操作对分量结果Rs统计。
4 仿真实验分析
为测试实现云计算光纤网络大数据异常负载检测应用性能，采用MATLAB7进行负载检测算法设计进行云计算光纤网络中大数据异常负载检测，数据样本长度为1024，网络传输信道均衡器阶数为24，迭代步长为0.01。采用时频分析法提取异常负载统计特征量进行大数据异常负载检测，重叠干扰得到有效抑制。采用不同方法进行负载异常检测，随着干扰信噪比增大，检测的准确性提高。所以设计的方法可以有效检测大数据中异常负载，并且输出误码率比传统方法降低。
单机网络异常流量检测平台使用相同配置计算机，调取实测数据为检验训练源数据，选取典型异常流量200条数据样本用于测试训练。采用反馈率参量衡量方法好坏，表达式为precision=TP/FP+FN×100%，其中，FN为未识别动作A特征样本数量;TP为准确识别动作A特征样本数量;FP为错误识别动作A特征样本数量。提出检测方法平均准确率提高17.08%，具有较好检测性能。对提出网络异常流量检测方法进行检测耗时对比，使用提出网络异常流量检测方法耗时为常规方法的8.81%，由于使用检测方法建立在大数据云计算平台，将检测任务分配给多个子任务计算平台。
使用KDD CUP99集中的数据进行网络异常流量检测分析，选取R2L攻击，Probing攻击异常流量数据用于检测分析，采用准确率参数衡量检测方法宏观评价网络流量检测识别方法：r=TP/FP+FN×100%。使用单机平台下SVM算法建立网络异常检测模型对比分析，本文研究检测模型平均识别率为68.5%，研究網络异常流量检测模型检测准确率提高28.3%。多次试验对比检测耗时，使用本文提出网络异常流量检测耗时较短。
【参考文献】
[1] 林昕，吕峰，姜亚光，等.网络异常流量智能感知模型构建[J].工业技术创新，2021（3）：7-14.
[2] 武海龙，武海艳.云计算光纤网络中大数据异常负载检测模型[J].激光杂志，2019（6）：207-211.
[3] 农婷.大数据环境下的网络流量异常检测研究[J].科技风，2019（17）：84.
[4] 马晓亮.基于Hadoop的网络异常流量分布式检测研究[D].重庆：西南大学，2019.
[5] 李宁.基于大数据的互联网异常流量检测研究[J].成都工业学院学报，2018（4）：34-38.
【参考文献】
阿思汗，男，2000年出生，内蒙古师范大学青年政治学院信息工程在读。
【关键词】 云计算技术;大数据;网络异常流量检测
【DOI编码】 10.3969/j.issn.1674-4977.2021.06.017
Analysis of Network Abnormal Traffic Detection Methods in
Big Data Environment
A Si-han
（College of Youth Politics，Inner Mongolia Normal University，Hohhot 021000，China）
Abstract： The abnormal load of big data in cloud computing optical fiber network is easy to cause network interruption. The paper proposes to extract the abnormal load detection model of cloud computing optical fiber network big data，adopts the high-order statistical analysis method for feature reconstruction，and combines the limit learning method for the adaptive dressing of abnormal load detection. The abnormal load detection of big data is realized according to the high-order statistical anomaly spectrum distribution.
Key words： cloud computing technology;big data;abnormal network traffic detection
隨着互联网的发展，网络技术广泛应用于生活中，许多公共场所布设移动WiFi接入点，为人们获取信息提供便捷条件。人们应用网络服务时将个人信息、银行账户等敏感数据存储到网络中，重要数据传递带来安全隐患造成网络安全问题突出。本文利用云计算技术对大数据下网络异常流量进行检测，并测试检测效果。
1 大数据下网络异常流量检测方法研究
光纤网络利用光在玻璃纤维实现光波通信，大数据集成调度，然后通过交换机分配IP。光纤通信传输距离远，云计算环境通过波分复用技术使光强度变化，通信中受到干扰导致通信信道配置失衡，需要对云计算光纤网络大数据异常负载优化检测，提高网络通信的输出保真性[1]。云计算光纤网络中大数据异常负载检测模型研究需要提取大数据负载异常特征，实现异常负载检测。
2 网络异常数据检测大数据分析平台
网络异常流量分为DDoS、Network Scan等类型，异常流量类型可从目的IP地址、源IP地址、字节数等特征区分[2]。DDos异常流量可通过特征二四五七检测;Network Scan异常流量可采用多个网络地址对主机端口扫描动作;Flash Crowd异常流量由异常用户对访问资源申请动作。本文以影响网络安全异常流量检测为研究内容，运用现有数据样本对建立检测模型训练，对训练后识别分析模型检验[3]。
研究异常流量类型包括U2R攻击类型、Probing攻击类型等，需要对数据特征提取分析，对入侵事件进行分类[4]。应用多种入侵事件特征数据，包括离散不间断协议、离散常规行为、离散接点状态、不间断数据源到目标数据比特数、持续创建新文件个数等。为避免两种衡量标准相互干扰，需对离散数据采用连续化操作。云计算平台迅速占领市场，目前应用广泛的是Apache开源分布式平台Hadoop，Hadoop云计算平台由文件系统、分布式并行计算等部分组成[5]。Map Reduce将传统数据处理任务分为多个任务，提高计算效率（见图1）。Map Reduce编程核心内容是对Map函数进行特定动作定义，Map核心任务是对数据值读取，Input Format类将输入样本转换为key/value对。发现tasktracker模块处于空闲状态，平台把相应数据Split分配到Map动作中，采用create Record Reader法读取数据信息，tasktracker处于工作状态程序进入等待。
3 大数据分析模型
随着待处理数据规模剧增，单台计算机处理数据速度过于缓慢，云计算系统以Hadoop为平台基础，提高计算效率。基于Hadoop平台对网络异常流量操作，向平台提交网络流量检测请求，工程JAR包运行，通过Job Client指令把作业发送到Job Tracker中，从HDFS中获取作业分类情况。Job Tracker模块执行任务初始化操作，运用作业调度器可实现对任务调度动作。
任务分配后进入Map阶段，所需数据在本地磁盘中进行存储，依靠计算机Java虚拟机执行实现JAR文件加载，Task Tracker对作业任务处理，需要对文件库网络流量特征测试，Map动作结果在本地计算机磁盘中存储。系统获得Map动作阶段计算结果后对网络流量分类，中间结果键值相同会与对应网络流量特征向量整合，Reduce Task模块对Map Task输出结果排序。Reduce动作完成后，操作者通过JobTracker模块获取任务运行结果参数，删除Map动作产生相应中间数据。BP神经网络用于建立网络流量检测模型，MapReduce平台具有高效计算优势，最优参数结果获得需多次反复计算优化，MapReduce平台单词不能实现神经网络计算任务，采用BP神经网络算法建立网络流量检测模型会加长计算时间。 本文采用支持向量机算法建立网络流量检测模型。支持向量机以统计学理论为基础，达到经验风险最小目的，算法可实现从少数样本中获得最优统计规律。设定使用向量机泛化能力训练样本为（x[i]，y[i]），i=1，2，…，I，最优分类平面为wx+b=0，简化为s.t.[yi]（w[?]x[i]+b）-1≥0，求解问题最优决策函数[f（x）=sgn[i=1lyiai（x?xi）+b]]，支持向量SVM把样本x转化到特定高维空间H，对应最优决策函数处理为[f（x）=sgn[i=1lyiaiK（x?xi）+b]]。云计算Hadoop平台为建立网络异常流量检测模型提供便捷。MapReduce模型通过Reduce获得整体支持向量AIISVs，通过Reduce操作对SVs收集，测试操作流量先运用Map操作对测试数据子集计算，运用Reduce操作对分量结果Rs统计。
4 仿真实验分析
为测试实现云计算光纤网络大数据异常负载检测应用性能，采用MATLAB7进行负载检测算法设计进行云计算光纤网络中大数据异常负载检测，数据样本长度为1024，网络传输信道均衡器阶数为24，迭代步长为0.01。采用时频分析法提取异常负载统计特征量进行大数据异常负载检测，重叠干扰得到有效抑制。采用不同方法进行负载异常检测，随着干扰信噪比增大，检测的准确性提高。所以设计的方法可以有效检测大数据中异常负载，并且输出误码率比传统方法降低。
单机网络异常流量检测平台使用相同配置计算机，调取实测数据为检验训练源数据，选取典型异常流量200条数据样本用于测试训练。采用反馈率参量衡量方法好坏，表达式为precision=TP/FP+FN×100%，其中，FN为未识别动作A特征样本数量;TP为准确识别动作A特征样本数量;FP为错误识别动作A特征样本数量。提出检测方法平均准确率提高17.08%，具有较好检测性能。对提出网络异常流量检测方法进行检测耗时对比，使用提出网络异常流量检测方法耗时为常规方法的8.81%，由于使用检测方法建立在大数据云计算平台，将检测任务分配给多个子任务计算平台。
使用KDD CUP99集中的数据进行网络异常流量检测分析，选取R2L攻击，Probing攻击异常流量数据用于检测分析，采用准确率参数衡量检测方法宏观评价网络流量检测识别方法：r=TP/FP+FN×100%。使用单机平台下SVM算法建立网络异常检测模型对比分析，本文研究检测模型平均识别率为68.5%，研究網络异常流量检测模型检测准确率提高28.3%。多次试验对比检测耗时，使用本文提出网络异常流量检测耗时较短。
【参考文献】
[1] 林昕，吕峰，姜亚光，等.网络异常流量智能感知模型构建[J].工业技术创新，2021（3）：7-14.
[2] 武海龙，武海艳.云计算光纤网络中大数据异常负载检测模型[J].激光杂志，2019（6）：207-211.
[3] 农婷.大数据环境下的网络流量异常检测研究[J].科技风，2019（17）：84.
[4] 马晓亮.基于Hadoop的网络异常流量分布式检测研究[D].重庆：西南大学，2019.
[5] 李宁.基于大数据的互联网异常流量检测研究[J].成都工业学院学报，2018（4）：34-38.
【参考文献】
阿思汗，男，2000年出生，内蒙古师范大学青年政治学院信息工程在读。