基于MapReduce的并行关联分析方法

来源 :2007中国计算机大会 | 被引量 : 0次 | 上传用户:redkind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文在研究BIRCH算法、规则关联算法、Hadoop的map/reduce机制的基础上,提出了一种基于map/reduce的应用于网络安全事件分析的并行关联方法。一方面,通过对BIRCH算法的改进,在BIRCH的分层次思想中引入预定义的规则库进行聚类,可以实现多级关联以及提高聚类的收敛效果,从而达到精简报警教的目的;另一方面,把该关联算法与Hadoop的map/reducc相结合,实现了算法的并行化计算,在一定程度上提高了算法的运行效率。最后的实验结果表明,采用该关联方法可以有效提高聚类效果,减少重复报警,缩短关联分析的执行时间。
其他文献
可持续发展原则的贯彻以及企业对经济效益的重视使得供水管网漏损问题在管网管理中越来越受关注。各国供水企业都将供水管网漏损状况作为衡量管网运行优劣的重要因素。为了缩
本文所表述的研究内容是以污水回用为目标,以挖掘传统工艺潜力为技术路线,以节约占地为宗旨,针对城市污水二级处理出水中的浊度、色度、磷酸盐等污染物质,经过5年的小试、中试实
本文介绍了MATLAB仿真环境Simuink6.4中所带的开关磁阻电机的仿真模型,对模型的建立、参数的设置等进行了说明,并且提出了在此模型的基础将6/4极模型改造为12/8极电机的方法,并
依据高等职业教育学生培养要求,建设全玻璃精馏装置。经过实训应用,使学生专业技能综合素质得到提高,实训方式得到改进和完善,提高了教育教学水平。
本文介绍了一种DC-DC变换器的并行电流模式控制策略。该控制方法基于离散域推导,将检测的输入电压、电感电流和输出电压进行简单的计算即可得到占空比,因此,适合用数字控制的方
对象生命期信息是Java内存管理优化的基础。逃逸分析获得对象的逃逸状态,分析对象生命期不够精确。丈中提出一种基于逃逸分析的增量式过程间对象生命期分析方法,利用称为连接图
@@随着我国石油化学上业的发展,在化学、石油、医药等产品的生产过程中,精馏起到了越来越重要的作用,因此精馏的节能减排问题也让更多的厂家提到了日程中。节能的出路在于技术革
网络新闻已成为传播的主要媒体,本文描述了自动抽取新闻报道中提及事件的发生时间、地点以及结果的一种方法。实现了基于时间与地点,新闻报道中多个事件的信息抽取,自动识别事件
在计算机信息系统中,为了保障信息的机密性和完整性,对信息的访问和操作,一般需要遵循一定的安全策略。BLP模型只解决了机密性问题,而Biba模型只解决了完整性问题,其他模型也都类
当前存储系统存在的主要问题之一是各级接口在主机和设备之间隐藏了各自丰富的信息,这种为了维持稳定而使用简单接口的做法,将使存储系统在面对日益复杂、需求各异的负载情况时