随着计算机科学和互联网技术的不断进步,信息技术的发展迈入了一个新的高度。支撑社会运转的软、硬件系统,不管从规模大小或是复杂程度,都到达了前所未有的水平。如今政府大力推进“互联网+”计划,互联网与传统行业结合得更加紧密,相互促进彼此的发展。在这个云计算和大数据大行其道的年代,维护互联网及其软硬件系统的稳定运行、检测和修复潜在的异常就变得更加重要。日志监控是软件监控系统中的重要组成部分。通过对日志内容和日志输出特征的分析,可以判断当前系统的运行状态,预测可能发生的异常。目前已经有很多关于日志分析的研究,已有的监控系统也取得了很好的效果。但当前日志分析技术仍然面对着一些问题,主要表现在如下方面:1)日志数量巨大。大型软件系统每天可以产生TB数量级大小的日志,逐条分析日志内容会对日志分析系统造成巨大压力。2)日志结构不固定,并且可能不完整。日志的有效内容(payload)并不遵循特定的格式,在系统高负载的情况下日志内容可能出现丢失,给日志的自动化处理带来困难。3)不同系统产生的日志内容差异巨大,通用的日志监控系统存在检测准确率不高的问题。我们针对以上这些问题进行了研究,经过实验,提出了基于日志监控的行为异常检测技术,并且实现了相应的日志监控系统。本文的研究工作主要体现在以下几个方面:1.提出了基于日志标准化和层次聚类的日志预处理方法。首先对日志信息进行正规化处理,然后采用自底向上层次聚类算法,基于日志有效内容的相似度对日志进行聚类。2.提出了基于行为异常的通用日志异常检测算法。从聚类后的日志中提取出特有行为模式,基于行为模式的异常指数和相似度等特征对日志序列进行异常检测,预测系统状态。3.设计实现了基于行为异常检测的日志监控系统。通过训练得到的行为模型,对日志流进行实时高效地分析,帮助管理人员有效监控和维护生产环境。