日志作为记录系统实时运行状态和程序执行状况的数据,既是软件开发人员和运维人员监测系统运行状态重要资源,也是实现系统异常检测的绝佳数据源之一。当下基于深度学习的日志异常检测已经成为自动化系统异常检测研究领域的重点关注内容之一,但仍存在以下难题亟需解决:日志文本数据其中所包含的信息和特征很难直接作为输入被深度学习模型所学习,需要构建特定的日志解析方法;传统的日志异常检测模型仅适合特定系统,忽略了日志所特有的时序特征与统计特征,使得日志前后事件之间的上下文信息难以被捕获进而导致检测能力的不足。本文在现有的日志异常检测流程基础上,以优化和改善现有日志异常检测方法为核心目的,针对日志解析模块中存在的结构化解析精度不高的问题,以及传统异常检测方法忽略了日志的普遍特征而导致的仅能处理特定系统的问题进行了深入研究,并提出了相应的改进优化方案。全文完成了以下三个方面的工作。1.日志数据的采集和分析是整个日志异常检测流程的基础。本文首先针对日志数据存储位置不确定而导致的日志采集困难的问题,分别设计了集中式和分布式两种不同的日志采集方案以应对不同系统部署环境下的日志采集需求。随后针对日志格式不统一而难以构建特征用于解析和检测的问题,对不同系统产生的日志的结构进行了分析,通过将日志拆解为不同的关键字段,并结合日志的产生模式,归纳总结出日志的语义分布、领域依赖、同源同构以及时序和统计等特征用于日志的解析和异常检测。2.日志消息的结构化解析是准确检测的前提。本文针对传统日志模板提取解析方法存在的语义忽略问题和日志向量化解析方法存在的易受噪声干扰的问题,提出了一种基于语义嵌入的日志向量化解析方法。该方法借助词嵌入与语义嵌入方法实现日志中词的向量化表示,并以日志的语义分布特征为基础,设计了日志词权重分布矩阵用于凸显不同日志词在日志消息中的语义影响,实现了日志消息的向量表示。并依照日志的同源同构特征设计了基于密度空间的日志向量聚类算法,以提取不同日志事件的向量模板,从而实现对日志消息的解析。实验结果显示,本文提出的方法在五种真实系统环境下产生的日志数据集上的解析准确率均达到了94%以上,具有比较优秀的解析准确性和稳定性。也经过实验验证,以该解析方法对日志进行结构化表示能够在一定程度上提高现有异常检测模型的检测准确性。3.针对传统异常检测模型忽略了日志的普遍特征而导致的仅能处理特定系统的问题,本文设计了一种基于长短期记忆网络的日志异常检测模型。该模型通过学习日志序列中特有的时序模式和统计模式,利用日志序列的事件前后依赖关系对下一时刻的日志事件进行预测,并基于预测结果判断系统是否存在异常。除此之外,模型还通过引入自注意力机制,将模型计算的并行度从O（1）提升到了O（n）,最长路径依赖从O（n）优化至O（1）,提高了模型对长序列的时间依赖性。随后通过实验在HDFS系统在实际运行过程中产生的日志数据集上对该模型进行了测试,并与Deeplog在内的另外四种传统的日志异常检测模型的检测结果进行对比。实验结果显示,基于自注意力长短期记忆网络的日志异常检测模型在保持检测准确率的同时,降低了误报率和漏报率,达到了97%的F1-measure分数,是所有模型中的最高得分。这证明了本方案相比于已有的日志异常检测模型,具有一定的性能提升,从而验证了本文所提出方案的有效性。