近年来企业信息化程度越来越高,基于主机日志的入侵检测分析成为企业安全问题检查的重要手段之一,通过主机日志分析可以对企业的安全进行及时监控,发现违规操作,最大限度的减少企业安全隐患。然而随着大数据时代的到来,如何有效的应对海量的日志分析成为摆放到设计日志分析系统者的首要考虑问题。传统的基于单节点的集中式的日志处理架构设计方案由于日志的指数增长、动态变换、异构的特点已经很难满足日志的分析的海量处理要求了。设计一个高效的、可扩展的、实时的日志分析平台,在企业发展中显得尤为重要。本课题主要基于这样一个实际项目背景,在深入研究日志的特点与现有的分布式平台的基础上,设计与实现了一种基于海量日志分析的入侵检测系统平台。该平台首先根据企业的实际需求出发采用了无agent方式收集日志。将企业客户内部的多个主机、网络设备、应用系统当做日志源通过关键字分析与关联分析技术进行分析,根据分析结果给出告警信息,产生安全事件工单供安全业务人员分析,并提供告警报表。本文首先介绍了课题的研究背景与相关领域的发展趋势,研究了基于主机入侵检测系统相关技术,其中重点研究了无agent远程采集技术,其中包括常用的wmi、smb、ssh、telnet、syslog等技术。研究了数据挖掘在日志分析中的应用,包括常见的关联规则挖掘算法Apriori与fp-growth算法的优缺点,并在此基础上着重研究现有的关联规则挖掘算法针对海量数据的特点的改进,研究了消息中间件rabbitmq在分布式集群海量日志分析中的应用。其中重点研究了为了提升rabbitmq对于海量日志分析的处理速度分别优化了rabbitmq的confirm机制与rabbitmq内部状态转移过程。最后基于某公司的实际业务需求对整个系统进行了详细设计、对日志预处理、解码、关联分析部分进行了重点概要设计。并在此基础上完成了基于主机入侵检测系统的开发与实现。