论文部分内容阅读
摘要：随着网络规模的不断发展，整个网络产生的网络安全信息量越来越大。使用传统的关系型数据库对网络安全数据的采集、存储、分析、处理越来越困难。基于大数据的网络信息安全分析平台能够有效地提升数据处理的及时性，从而提高网络安全预警的及时性和网络安全事件的应急处置速度，强化网络安全的生命周期管理。
关键词：大数据；网络信息安全；数据分析
中图分类号：TP309 文献标识码：A
文章编号：1009-3044（2019）07-0069-02
Abstract：With the continuous development of network scale， the amount of network security information generated by the whole network is increasing. It is more and more difficult to collect， store， analyze and process network security data using traditional relational database. Network information security analysis platform based on large data can effectively improve the timeliness of data processing， thus improving the timeliness of network security early warning and the speed of emergency disposal of network security incidents， and strengthening the life cycle management of network security.
Key words： big data； network information security； data analysis
1 現状
随着国家对网络信息安全的要求越来越全面，不少单位已部署多种网络信息安全设备来提升自己的网络安全防护水平，加强对自身网络的安全防护，提升自身的网络安全管理水平。但各个安全防护设备未相互关联，无法对全网的资产进行统一的网络信息安全管理，形成信息孤岛。且随着网络信息安全数据量不断增长，使用传统的关系型数据库对海量信息的采集、存储与处理均存在困难。在大量安全防护设备部署后，却仍无法实现对整个网络平台的网络安全运行状态的统一展示和对网络安全攻击事件进行关联分析并及时预警，无法对网络中信息资产的安全状态进行主动有效的监控及处置，导致网络信息安全事件仍时有发生，应急处置速度总是滞后于网络安全监管要求。如何有效地利用现有的网络安全防护设备，提高海量数据的处理速度，提升网络信息安全预警的及时性和信息安全事件发生后应急处置的及时性，让网络管理者能全面掌控自身网络的安全状况，成为亟待解决的问题。
2 大数据在网络信息安全领域的应用分析
网络信息安全领域的数据分析对象一般是各个网络安全设备的防护日志和流量，涉及的类型包括主机数据库的漏洞、入侵检测日志、抗拒绝服务攻击的流量检测信息、网页防篡改信息、病毒木马扫描结果信息、WEB应用安全信息等。对这些信息的处理遵循数据采集、数据存储，数据分析三个最主要的阶段，大数据在这三个阶段的主要应用如下：
1）数据采集。网络信息安全数据来源多种多样，位置分散，为了进行高效的数据采集，可以使用Chukwa、Scribe等工具，采用分布式采集方法，传输速度基本达到几百兆以上，能够满足快速采集的需求。
2）数据存储。在多种格式的数据采集后，为了方便后期进行存储处理，需要先对数据进行归一操作，将不同类型的数据格式进行标准化处理，形成平台能够处理的格式。对于标准化后的数据采用Hadoop分布式架构进行存储，可以利用MapRedu规则类进行定制化的分析处理，并存储分析后的结果。
3）数据分析。网络攻击者会对多个网络对象使用不同的工具进行多层次的攻击，攻击的路径可能存在多条，网络安全防护设备对同一攻击者的攻击行为会产生很多条不同的数据，人工很难对这些数据进行关联分析，并准确定位攻击行为及攻击目标。使用大数据对网络安全设备的防护信息进行关联分析，将多条攻击信息归并成一条，降低人工分析的困难，提升防护准确性。同时，利用大数据对发现的系统漏洞进行主动关联分析，探测同类型设备是否存在相同漏洞，以便及时通知管理人员进行修复。
3 基于大数据的网络信息安全分析平台建设
从系统框架角度来看，网络信息安全分析平台从安全防护设备、网络设备和业务服务器上采集网络安全信息，经数据处理层进行数据归一处理后，交由应用分析层处理，最后由展现层进行统一展现。应用分析层是整个系统的核心，它负责系统中的所有信息的处理和关联分析，主要包括资产统一管理、系统脆弱性分析、入侵攻击溯源、防火墙日志及策略分析、WEB网站安全分析、业务行为分析等功能，安全设备可通过标准协议来与分析平台服务器进行通讯。
3.1 平台的设计原则
面对海量的安全日志，传统数据库下进行的数据分析、数据挖掘变得极端困难。大数据的多样性、高速性、海量性等特点特别适合用来进行网络信息安全数据分析。网络安全防护设备种类多样，产生的日志格式也各不相同，整个平台每天产生的网络安全信息、系统安全信息、攻击信息的数据量也特别大，长此以往，所需要的存储空间也是巨大的。通过使用Hadoop分布式数据库、搜索型数据库、内存数据库等最新的技术，使得海量数据的挖掘、高速处理成为可能。
分析平台为了能够有效达到与各类安全防护设备、安全系统、进行数据交互和信息共享，必须要建立有一套完善的接口体系规范。 3.2 平台主要功能模块
3.2.1 资产统一管理
实现资产的统一管理是进行网络信息安全管理的第一步。业务系统上线之前，要对业务系统资产进行梳理，收集资产系统类型、所属部门、资产责任人、使用的协议、授权认证类型等信息，将资产录入到分析平台中。分析平台能从业务类型维度、系统责任人维度、操作系统类型、系统安装的组件类型、IP段等维度进行分析，同时可根据各个维度重新组织资产信息，将重组后的资产信息形成直观的资产树状结构展示视图。完成网络资产信息的整理分析后，可以方便地进行下一步的安全配置检查、安全评估、安全监测、安全审计等各项工作。
3.2.2 系统脆弱性分析
全方位检测IT系统存在的脆弱性，核查信息系统的基线合规情况，重点检查系统是否开启登录认证，是否对非法登录进行自动限制，是否存在共享账号，是否限制root账号远程登录、是否按照管理要求安装了系统准入软件、杀毒软件、应用防篡改软件等关键项目。能在平台上定期对网络的服务器进行系统数据库层面、业务应用层面的安全评估，自动探测系统存在的账号、是否存在弱口令、系统中部署的服务、对外开放的端口等信息，整合形成一份完整的安全风险评估报告，帮助安全管理人员先于攻击者发现安全问题，及时进行修补。
3.2.3 WEB网站安全分析
通过日志解析器，解析现网WEB网络安全评估设备的安全日志，建立整体网站安全关联分析模型，利用大数据可视化技术实时呈现网站安全状况。同时，通过数据分析平台对WEB资产进行扫描评估任务下发，将存在的安全漏洞进行收集并验证，将网站安全状况进行呈现，包括网页漏洞、敏感内容、域名劫持、网站平稳度问题等各类网站全风险。
3.2.4 入侵攻击溯源
分析平台根据来自各种安全设备的日志流量等信息，开展来自网络外部的异常流量进行监控，同时对内网的安全状况也进行监控分析。内外网数据的双向检测分析，能更全面保障网络安全。对各类网络安全信息从各角度进行关联分析，准确还原攻击事件始末的攻击情况。平台同时存储实时数据和历史数据，并对数据进行汇总和多角度的整合，以满足提取不同分析粒度的统计数据。能够在告警监控、状态地图和统计报表几个方面进行实时和历史的数据多形式展现。
3.2.5 防火墙日志及策略分析
通过日志解析器解析现网防火墙设备的安全日志，基于攻击链模型建立防火墙日志关联分析模型，实现对全网防火墙事件的关联分析，平台主要通过攻击链的安全事件关联分析来找出大量事件中存在的关系，并从这些大量事件中抽取出真正重要的少量事件，系统实时不间断地对所有标准化后的日志流进行安全事件关联分析，从而发生安全事件后第一事件协调提供攻击信息。针对重要系统的攻击可由平台与防火墙联动，实现对攻击IP的自动封锁，实现自动应急处理。由于网络规模较大，各类防火墙策略较多，难免存在无效策略或相关冲突的策略，平台能够抽取这些防火墙策略进行分析，找出问题策略，优化防火墙安全性。
3.2.6 业务行为分析
平台具有良好的扩展功能，可对各个不同的业务定制针对性业务行为分析，规范业务操作合规。平台接收各个业务系统产生的日志信息，根据业务系统日志特性，开发对应的日志分析模块，对这些日志进行解析，并通过大数据机器学习能力和业务访问特性，建立可调试的关联分析规则，实现对业务访问行为的可视化展示。在本次研究中，本平台主要与运维堡垒机平台对接，通过获取运维人员的操作日志，分析运维人员操作存在的风险，如账号的暴力破解，高危指令的操作、批量查询用户敏感数据等行为。
4 使用效果
通过系统的使用总结，达到了如下效果：
1）實现了IT资产的统一管理，方便网络安全管理人员进行查询管理，避免资产遗漏。
2）实现了对IT资产基线配置、漏洞管理等网络信息安全评估的全生命周期管理，提升了整个网络的安全性。
3）实现了对攻击行为的溯源，清晰展现现攻击路径，方便追责与问题整改。
4）提升了应急处置的能力，缩短应急处置流程。
5 总结
随着网络安全防护设备的不断部署，如何有效整合现有各种网络安全防护设备，形成一套联动的防护体系，提升安全处置能力成为亟待解决的问题。本文通过采用大数据的分析处理框架，对网络信息安全等数据进行处理分析，实现一套集资产管理、系统脆弱性分析、WEB网站安全分析、入侵攻击溯源、防火墙日志及策略分析、业务行为分析等功能的支撑平台，确实提升了整个网络的安全管理水平。
参考文献：
[1] 万明秀，宋秋莲.网络安全分析中的大数据技术应用探讨[J].无线互联科技，2017（21）.
[2] 徐子伟，张陈斌，陈宗海.大数据技术概述[A].系统仿真技术及其应用学术论文集（第15卷）[C]，2014.
[3] 白硕，徐辉.大数据技术在网络安全分析中的应用[J].数据安全与云计算，2018（6）： 51-52.
【通联编辑：代影】
关键词：大数据；网络信息安全；数据分析
中图分类号：TP309 文献标识码：A
文章编号：1009-3044（2019）07-0069-02
Abstract：With the continuous development of network scale， the amount of network security information generated by the whole network is increasing. It is more and more difficult to collect， store， analyze and process network security data using traditional relational database. Network information security analysis platform based on large data can effectively improve the timeliness of data processing， thus improving the timeliness of network security early warning and the speed of emergency disposal of network security incidents， and strengthening the life cycle management of network security.
Key words： big data； network information security； data analysis
1 現状
随着国家对网络信息安全的要求越来越全面，不少单位已部署多种网络信息安全设备来提升自己的网络安全防护水平，加强对自身网络的安全防护，提升自身的网络安全管理水平。但各个安全防护设备未相互关联，无法对全网的资产进行统一的网络信息安全管理，形成信息孤岛。且随着网络信息安全数据量不断增长，使用传统的关系型数据库对海量信息的采集、存储与处理均存在困难。在大量安全防护设备部署后，却仍无法实现对整个网络平台的网络安全运行状态的统一展示和对网络安全攻击事件进行关联分析并及时预警，无法对网络中信息资产的安全状态进行主动有效的监控及处置，导致网络信息安全事件仍时有发生，应急处置速度总是滞后于网络安全监管要求。如何有效地利用现有的网络安全防护设备，提高海量数据的处理速度，提升网络信息安全预警的及时性和信息安全事件发生后应急处置的及时性，让网络管理者能全面掌控自身网络的安全状况，成为亟待解决的问题。
2 大数据在网络信息安全领域的应用分析
网络信息安全领域的数据分析对象一般是各个网络安全设备的防护日志和流量，涉及的类型包括主机数据库的漏洞、入侵检测日志、抗拒绝服务攻击的流量检测信息、网页防篡改信息、病毒木马扫描结果信息、WEB应用安全信息等。对这些信息的处理遵循数据采集、数据存储，数据分析三个最主要的阶段，大数据在这三个阶段的主要应用如下：
1）数据采集。网络信息安全数据来源多种多样，位置分散，为了进行高效的数据采集，可以使用Chukwa、Scribe等工具，采用分布式采集方法，传输速度基本达到几百兆以上，能够满足快速采集的需求。
2）数据存储。在多种格式的数据采集后，为了方便后期进行存储处理，需要先对数据进行归一操作，将不同类型的数据格式进行标准化处理，形成平台能够处理的格式。对于标准化后的数据采用Hadoop分布式架构进行存储，可以利用MapRedu规则类进行定制化的分析处理，并存储分析后的结果。
3）数据分析。网络攻击者会对多个网络对象使用不同的工具进行多层次的攻击，攻击的路径可能存在多条，网络安全防护设备对同一攻击者的攻击行为会产生很多条不同的数据，人工很难对这些数据进行关联分析，并准确定位攻击行为及攻击目标。使用大数据对网络安全设备的防护信息进行关联分析，将多条攻击信息归并成一条，降低人工分析的困难，提升防护准确性。同时，利用大数据对发现的系统漏洞进行主动关联分析，探测同类型设备是否存在相同漏洞，以便及时通知管理人员进行修复。
3 基于大数据的网络信息安全分析平台建设
从系统框架角度来看，网络信息安全分析平台从安全防护设备、网络设备和业务服务器上采集网络安全信息，经数据处理层进行数据归一处理后，交由应用分析层处理，最后由展现层进行统一展现。应用分析层是整个系统的核心，它负责系统中的所有信息的处理和关联分析，主要包括资产统一管理、系统脆弱性分析、入侵攻击溯源、防火墙日志及策略分析、WEB网站安全分析、业务行为分析等功能，安全设备可通过标准协议来与分析平台服务器进行通讯。
3.1 平台的设计原则
面对海量的安全日志，传统数据库下进行的数据分析、数据挖掘变得极端困难。大数据的多样性、高速性、海量性等特点特别适合用来进行网络信息安全数据分析。网络安全防护设备种类多样，产生的日志格式也各不相同，整个平台每天产生的网络安全信息、系统安全信息、攻击信息的数据量也特别大，长此以往，所需要的存储空间也是巨大的。通过使用Hadoop分布式数据库、搜索型数据库、内存数据库等最新的技术，使得海量数据的挖掘、高速处理成为可能。
分析平台为了能够有效达到与各类安全防护设备、安全系统、进行数据交互和信息共享，必须要建立有一套完善的接口体系规范。 3.2 平台主要功能模块
3.2.1 资产统一管理
实现资产的统一管理是进行网络信息安全管理的第一步。业务系统上线之前，要对业务系统资产进行梳理，收集资产系统类型、所属部门、资产责任人、使用的协议、授权认证类型等信息，将资产录入到分析平台中。分析平台能从业务类型维度、系统责任人维度、操作系统类型、系统安装的组件类型、IP段等维度进行分析，同时可根据各个维度重新组织资产信息，将重组后的资产信息形成直观的资产树状结构展示视图。完成网络资产信息的整理分析后，可以方便地进行下一步的安全配置检查、安全评估、安全监测、安全审计等各项工作。
3.2.2 系统脆弱性分析
全方位检测IT系统存在的脆弱性，核查信息系统的基线合规情况，重点检查系统是否开启登录认证，是否对非法登录进行自动限制，是否存在共享账号，是否限制root账号远程登录、是否按照管理要求安装了系统准入软件、杀毒软件、应用防篡改软件等关键项目。能在平台上定期对网络的服务器进行系统数据库层面、业务应用层面的安全评估，自动探测系统存在的账号、是否存在弱口令、系统中部署的服务、对外开放的端口等信息，整合形成一份完整的安全风险评估报告，帮助安全管理人员先于攻击者发现安全问题，及时进行修补。
3.2.3 WEB网站安全分析
通过日志解析器，解析现网WEB网络安全评估设备的安全日志，建立整体网站安全关联分析模型，利用大数据可视化技术实时呈现网站安全状况。同时，通过数据分析平台对WEB资产进行扫描评估任务下发，将存在的安全漏洞进行收集并验证，将网站安全状况进行呈现，包括网页漏洞、敏感内容、域名劫持、网站平稳度问题等各类网站全风险。
3.2.4 入侵攻击溯源
分析平台根据来自各种安全设备的日志流量等信息，开展来自网络外部的异常流量进行监控，同时对内网的安全状况也进行监控分析。内外网数据的双向检测分析，能更全面保障网络安全。对各类网络安全信息从各角度进行关联分析，准确还原攻击事件始末的攻击情况。平台同时存储实时数据和历史数据，并对数据进行汇总和多角度的整合，以满足提取不同分析粒度的统计数据。能够在告警监控、状态地图和统计报表几个方面进行实时和历史的数据多形式展现。
3.2.5 防火墙日志及策略分析
通过日志解析器解析现网防火墙设备的安全日志，基于攻击链模型建立防火墙日志关联分析模型，实现对全网防火墙事件的关联分析，平台主要通过攻击链的安全事件关联分析来找出大量事件中存在的关系，并从这些大量事件中抽取出真正重要的少量事件，系统实时不间断地对所有标准化后的日志流进行安全事件关联分析，从而发生安全事件后第一事件协调提供攻击信息。针对重要系统的攻击可由平台与防火墙联动，实现对攻击IP的自动封锁，实现自动应急处理。由于网络规模较大，各类防火墙策略较多，难免存在无效策略或相关冲突的策略，平台能够抽取这些防火墙策略进行分析，找出问题策略，优化防火墙安全性。
3.2.6 业务行为分析
平台具有良好的扩展功能，可对各个不同的业务定制针对性业务行为分析，规范业务操作合规。平台接收各个业务系统产生的日志信息，根据业务系统日志特性，开发对应的日志分析模块，对这些日志进行解析，并通过大数据机器学习能力和业务访问特性，建立可调试的关联分析规则，实现对业务访问行为的可视化展示。在本次研究中，本平台主要与运维堡垒机平台对接，通过获取运维人员的操作日志，分析运维人员操作存在的风险，如账号的暴力破解，高危指令的操作、批量查询用户敏感数据等行为。
4 使用效果
通过系统的使用总结，达到了如下效果：
1）實现了IT资产的统一管理，方便网络安全管理人员进行查询管理，避免资产遗漏。
2）实现了对IT资产基线配置、漏洞管理等网络信息安全评估的全生命周期管理，提升了整个网络的安全性。
3）实现了对攻击行为的溯源，清晰展现现攻击路径，方便追责与问题整改。
4）提升了应急处置的能力，缩短应急处置流程。
5 总结
随着网络安全防护设备的不断部署，如何有效整合现有各种网络安全防护设备，形成一套联动的防护体系，提升安全处置能力成为亟待解决的问题。本文通过采用大数据的分析处理框架，对网络信息安全等数据进行处理分析，实现一套集资产管理、系统脆弱性分析、WEB网站安全分析、入侵攻击溯源、防火墙日志及策略分析、业务行为分析等功能的支撑平台，确实提升了整个网络的安全管理水平。
参考文献：
[1] 万明秀，宋秋莲.网络安全分析中的大数据技术应用探讨[J].无线互联科技，2017（21）.
[2] 徐子伟，张陈斌，陈宗海.大数据技术概述[A].系统仿真技术及其应用学术论文集（第15卷）[C]，2014.
[3] 白硕，徐辉.大数据技术在网络安全分析中的应用[J].数据安全与云计算，2018（6）： 51-52.
【通联编辑：代影】