论文部分内容阅读
摘要：当前，伴随着我国网络技术、信息技术的快速发展，网络安全愈来愈被人们所重视。在这种情况下，社会各界越来越重视基于网络安全分析架构下的大数据技术应用。有鉴于此，本文阐明了基于网络安全分析架构下的大数据应用的必要性，并且介绍了基于网络安全架构下的大数据实际应用，希望能够促进基于网络安全分析架构下的大数据应用。
关键词：网络安全分析架构；大数据技术应用；网络安全
现今，互联网技术高速发展，并且得到广泛地普及，互联网中所涵盖的数据量也不容忽视。互联网虽然在很大程度上方便了人民群众的生活，但是网络安全也在很大程度上威胁着人们安乐、稳定的生活。大数据技术现今已经较为成熟，但是在网络安全分析架构下的大数据相关研究还不多，基于网络安全分析架构下的大数据应用能在很大程度上保障网络安全，大数据应用在网络安全中具备极大的实际价值与意义。
1应用大数据技术的必要性
现今，互联网架构越来越繁琐且繁杂，网络安全分析的数据量也越来越多，早就突破了TB级，现在趋近于PB级，并且数据来源途径极其多样化，内容也渐渐细化，分析的维度越来越广泛。由于设备、性能不断优化与升级，数据源能在更短的时间内完后输送，人们对安全信息采集的要求也更加严格，其影响程度也逐渐扩大，这就要求相关工作人员能在最短的时间内动态监测出潜在的安全风险或是安全攻击的行为。
在以往的技术架构下，运用结构化数据库完成数据存储的操作，这个过程中资金的损耗极大，通常会先标准化原始数据，之后再存储数据，当然，这也会使得有些信息与数据会丢失，并且基本上实现不了长期历史数据与信息的储存，很难实现追踪溯源。此外，用来分析或是复杂地查询不完整、非结构化的数据集有较大难度，并且效率不高，实效性与精准性较低。另外，基本上不能用来在系统来源存在差异的异构数据上实现融合关联剖析，这就使得全面的可视化安全态势实现不了，并且安全运营的效率低下。以上种种都在一定程度上表示，以往的安全技术已经跟不上时代的步伐，达不到网络安全分析的新标准、新需求。
众所周知，大数据技术在将来信息架构领域中占据极其重要的地位，并且近来，在社会各界的应用高速发展并且迅速普及，大数据技术的优势包括：数据庞大、类型多样化、速度较快、价值密度低等。而基于网络安全分析架构下的大数据应用具备以下实际优势：容量大、成本低廉、效率高等。容量大，也就是大数据能够存储并计算庞大数量的异构数据；成本低，相较于以往的数据库来说，分布式数据库的成本非常低廉。速度快，不仅异构数据的存储非常迅速，查询也更加快捷，这就使得采集与检；安全信息所需的时间更短；精度高，具备更强的数据挖掘技能。
2基于大数据技术的网络安全平台架构分析
网络安全平台由多个层次构成，分别是数据采集层、数据挖掘层、数据呈现层等等，在数据采集层中可以对用户的信息、各种情报等进行存储，将大数据技术应用到分布式的文件中，就能实现结构化以及半结构化的数据存储，还能将均衡的算法分布在分布式文件上，这对提高数据检索的速度有很大的帮助，利用数据挖掘层可以对数据进行一定的分析，从中提取出相应的特征，从而实现对安全事件的挖掘，还可以根据网络中出现的各种问题，发现并进行查询与定位，让数据真正呈现出可视化以及多维度的状态，这样才是真正的网络安全的状态。
3基于网络安全分析构架下的大数据技术的实际应用
基于网络安全分析架构下的大数据应用，主要处理两项数据类型，也就是日志与流量，当然还需要处理一些数据较少数据类型，包括访问、用户行为、业务行为等。基于网络安全分析架构下的大数据技术应用，可以在很大程度上对各项数据的剖析与处理进行完善与优化。由于日志和数据具备较大的分散性，因此可以采取统筹处理的形式，使得数据采集与剖析处理的效率更高，进而使得网络安全分析体系的效率也得到提升；还可以借助关联分析各项安全信息，在多维度的基础上对数据进行分析与处理，进而探寻潜在的问题与不足，这样就能够使得安全分析更加高效。基于网络安全分析架构下的大数据应用主要在下面几个层面：
（1）信息搜集。数据搜集能够借助一些相关工具，采取分布搜集的措施，使得采集日志与信息的效率更高；借助数据镜像采集的手段，可以使得整个流量数据的采集效率得到极大的提升。
（2）信息储存。数据不但数量庞大，并且种类非常丰富且多元化，运用的应用方式当然也就更加繁雜，像这种问题的处理，应该基于各项数据的实际特性，进而运用最合适的存储方式，进而达到数据存储的指标，使得数据剖析的效率得到很大程度的提升。
（3）信息检索。将MapReduce视作检索的基础构架形式，借助输入实际的查询请求的方式，并且要把查询请求的内容输送到分析位置，进而实现数据的加工处理，之后完成分布计算的步骤，这样就可以在很大程度上强化信息的检索技能。
（4）数据解析。运用Storm、Spark流式的方式，完后架构计算。借助相关措施使得实时解析、监控数据过程中存在的不足与漏洞都得到很好的解决，还可以结合安全性与可靠性更高的信息，进而使得非正常行为的出现得到很好地预防。
（5）多源数据和多时期密切结合的关联分析。大数据技术不断增强存储和解析的效率，将及时发现和解析多源数据，防止安全隐患的发生、制止各种攻击行为的发生等。
4结语
基于网络安全分析架构下的大数据应用的发展已经较为成熟，并且普及程度较高，并且具备精准、高速、节约开支特点。如今，我们身处信息时代，大数据技术不断普及，社会各界专家、学者越来越关注大数据应用的研究，倘若不断深入研究基于网络安全分析架构的大数据应用，则会在很大程度上保障网络安全，并且会使得网络安全的防御与保护能力得到极大提升。
关键词：网络安全分析架构；大数据技术应用；网络安全
现今，互联网技术高速发展，并且得到广泛地普及，互联网中所涵盖的数据量也不容忽视。互联网虽然在很大程度上方便了人民群众的生活，但是网络安全也在很大程度上威胁着人们安乐、稳定的生活。大数据技术现今已经较为成熟，但是在网络安全分析架构下的大数据相关研究还不多，基于网络安全分析架构下的大数据应用能在很大程度上保障网络安全，大数据应用在网络安全中具备极大的实际价值与意义。
1应用大数据技术的必要性
现今，互联网架构越来越繁琐且繁杂，网络安全分析的数据量也越来越多，早就突破了TB级，现在趋近于PB级，并且数据来源途径极其多样化，内容也渐渐细化，分析的维度越来越广泛。由于设备、性能不断优化与升级，数据源能在更短的时间内完后输送，人们对安全信息采集的要求也更加严格，其影响程度也逐渐扩大，这就要求相关工作人员能在最短的时间内动态监测出潜在的安全风险或是安全攻击的行为。
在以往的技术架构下，运用结构化数据库完成数据存储的操作，这个过程中资金的损耗极大，通常会先标准化原始数据，之后再存储数据，当然，这也会使得有些信息与数据会丢失，并且基本上实现不了长期历史数据与信息的储存，很难实现追踪溯源。此外，用来分析或是复杂地查询不完整、非结构化的数据集有较大难度，并且效率不高，实效性与精准性较低。另外，基本上不能用来在系统来源存在差异的异构数据上实现融合关联剖析，这就使得全面的可视化安全态势实现不了，并且安全运营的效率低下。以上种种都在一定程度上表示，以往的安全技术已经跟不上时代的步伐，达不到网络安全分析的新标准、新需求。
众所周知，大数据技术在将来信息架构领域中占据极其重要的地位，并且近来，在社会各界的应用高速发展并且迅速普及，大数据技术的优势包括：数据庞大、类型多样化、速度较快、价值密度低等。而基于网络安全分析架构下的大数据应用具备以下实际优势：容量大、成本低廉、效率高等。容量大，也就是大数据能够存储并计算庞大数量的异构数据；成本低，相较于以往的数据库来说，分布式数据库的成本非常低廉。速度快，不仅异构数据的存储非常迅速，查询也更加快捷，这就使得采集与检；安全信息所需的时间更短；精度高，具备更强的数据挖掘技能。
2基于大数据技术的网络安全平台架构分析
网络安全平台由多个层次构成，分别是数据采集层、数据挖掘层、数据呈现层等等，在数据采集层中可以对用户的信息、各种情报等进行存储，将大数据技术应用到分布式的文件中，就能实现结构化以及半结构化的数据存储，还能将均衡的算法分布在分布式文件上，这对提高数据检索的速度有很大的帮助，利用数据挖掘层可以对数据进行一定的分析，从中提取出相应的特征，从而实现对安全事件的挖掘，还可以根据网络中出现的各种问题，发现并进行查询与定位，让数据真正呈现出可视化以及多维度的状态，这样才是真正的网络安全的状态。
3基于网络安全分析构架下的大数据技术的实际应用
基于网络安全分析架构下的大数据应用，主要处理两项数据类型，也就是日志与流量，当然还需要处理一些数据较少数据类型，包括访问、用户行为、业务行为等。基于网络安全分析架构下的大数据技术应用，可以在很大程度上对各项数据的剖析与处理进行完善与优化。由于日志和数据具备较大的分散性，因此可以采取统筹处理的形式，使得数据采集与剖析处理的效率更高，进而使得网络安全分析体系的效率也得到提升；还可以借助关联分析各项安全信息，在多维度的基础上对数据进行分析与处理，进而探寻潜在的问题与不足，这样就能够使得安全分析更加高效。基于网络安全分析架构下的大数据应用主要在下面几个层面：
（1）信息搜集。数据搜集能够借助一些相关工具，采取分布搜集的措施，使得采集日志与信息的效率更高；借助数据镜像采集的手段，可以使得整个流量数据的采集效率得到极大的提升。
（2）信息储存。数据不但数量庞大，并且种类非常丰富且多元化，运用的应用方式当然也就更加繁雜，像这种问题的处理，应该基于各项数据的实际特性，进而运用最合适的存储方式，进而达到数据存储的指标，使得数据剖析的效率得到很大程度的提升。
（3）信息检索。将MapReduce视作检索的基础构架形式，借助输入实际的查询请求的方式，并且要把查询请求的内容输送到分析位置，进而实现数据的加工处理，之后完成分布计算的步骤，这样就可以在很大程度上强化信息的检索技能。
（4）数据解析。运用Storm、Spark流式的方式，完后架构计算。借助相关措施使得实时解析、监控数据过程中存在的不足与漏洞都得到很好的解决，还可以结合安全性与可靠性更高的信息，进而使得非正常行为的出现得到很好地预防。
（5）多源数据和多时期密切结合的关联分析。大数据技术不断增强存储和解析的效率，将及时发现和解析多源数据，防止安全隐患的发生、制止各种攻击行为的发生等。
4结语
基于网络安全分析架构下的大数据应用的发展已经较为成熟，并且普及程度较高，并且具备精准、高速、节约开支特点。如今，我们身处信息时代，大数据技术不断普及，社会各界专家、学者越来越关注大数据应用的研究，倘若不断深入研究基于网络安全分析架构的大数据应用，则会在很大程度上保障网络安全，并且会使得网络安全的防御与保护能力得到极大提升。