基于Hadoop的网络告警融合分析技术研究

来源 :西南科技大学 | 被引量 : 0次 | 上传用户:tianyawoaiai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
企事业单位网络中安全防御设备产生的海量日志具有多样性、高冗余度、看似“分散独立”却存在关联性的特点,现有传统的独立集中式日志分析平台计算能力有限,无法满足日志海量、多样性的要求,缺乏针对海量多源网络安全日志的高效融合分析方法的研究。  因此,本文引入Hadoop海量数据处理技术,研究并设计针对防火墙、IDS和主机监控系统的海量多源日志数据采集、清理、规范化处理方法,并将日志存储于分布式文件系统(HDFS)中;提出一种基于MapReduce的多维度的日志聚合算法M-DLA(Multi-dimensionalLogAggregation)和时间阈值自更新方法,实现海量日志的冗余处理;研究并设计一种告警融合分析方法,结合制定的规则策略、资产库、脆弱性信息和关联知识库,判断真实发生攻击事件的有效告警;同时,采用Hadoop技术实现网络告警融合分析原型系统。  实验结果表明M-DLA算法能有效聚合冗余日志,融合分析方法能准确区分有效攻击,基于Hadoop的原型系统可高效率完成日志分析处理。通过本文研究,解决了“分散独立”的海量多源日志的有效融合分析技术和单机处理效率的瓶颈问题,提升安全事件监测时效性和有效性,为网络态势评估预警提供参考依据。
其他文献
虚拟桌面架构是虚拟桌面技术中使用的基础框架中的一种,允许用户通过终端登录到指定的系统中,将系统运行的结果通过网络传递到客户端进行显示,同时将用户在客户端的鼠标、键盘操
人类的虹膜具有唯一性、稳定性、非侵入性等特点,虹膜识别技术是众多生物特征识别技术中识别率最高的方法之一。随着虹膜识别技术的快速发展,目前研究重点主要关注非理想条件下
近年来,随着数字化技术的飞速发展,大量印刷蒙古文文献资源(图书、期刊、杂志等)可以通过采用当下广泛流行的技术——光学字符识别(Optical Character Recognition,OCR),将其转换为相应的电子文档,但在转换过程中会遇到以下两方面问题。第一,现有的印刷蒙古文OCR系统采用基于字元切分的方法对蒙古文单词进行识别,但某些字体下的蒙古文单词很难被准确切分成字元,导致单词无法识别。此
学位
路径规划研究是机器人技术的重要组成部分,是移动机器人实现自主移动的关键所在。蚁群算法,顾名思义即是模拟蚂蚁族群行为的算法。蚁群算法的诞生最早是由来自意大利的学者M.Do
近年来,物联网RFID技术飞速发展,越来越多的RFID应用需要一个能够全面评价RFID系统的安全检测体系作为保障和支撑。然而由于RFID在原始设计上的开放性及各种协议标准不统一的
数据库(database,简称DB)已经广泛地应用到人们的生产和生活中,它可以高效的支持结构化数据的存储和查询,然而它需要用户了解数据库底层的模式知识和掌握结构化查询语言,这对于没有
随着web2.0的兴起和社会网络的迅速发展,人们以网络为媒介发表自己对某个事件或事物的评论和看法。产品评论作为最重要的情感信息来源,一直被学术界广泛使用。如何挖掘这些产品
目前,以智能手机为代表的高能力移动终端得到了迅速发展,在不久的的将来,移动终端将成为造成Internet数据通信的主体,所以移动终端以及移动通信环境将会成为未来大量计算应用的基
本论文主要是对分布式存储技术的原理进行了深入的分析,并对分布式数据库的设计与实现过程的进行了深层次的研究,在设计出空间数据表逻辑结构的基础上,对空间数据表进行了合
随着经济的飞速发展,银行业正在受到了前所未有的改变,银行若要立于不败之地,强大的软件开发技术,是支撑银行的一个重要保证。银行由于行业的特殊性,保证软件系统的安全,才能更好的