随着大数据时代的到来,数据对于国家与社会的发展重要性日益显现。为了使数据发挥其更大价值,降低人们获取难度,苗放教授提出了面向数据的体系结构(DOA,Data-Oriented Architecture),采用的是“面向数据和以数据为核心”的思想。DOA主要分为数据注册中心(DRC,Data Register Center)、数据异常中心(DEC,Data Exception Control Center)、数据权限中心(DAC,Data Authority Center)和数据应用单元(DAUs,Data Application Units)。数据异常中心是重要模块,通过对系统与应用日志的采集检测,实现异常日志的检测和告警。本文通过研究深度自编码日志异常检测算法,提出无需人工标记的自动化日志异常检测模型,并结合企业中广泛使用的ELK(Elasticsearch,Logstash,Kibana)框架为DEC搭建一套集日志采集、日志缓存、日志处理、日志存储及日志展示为一体的日志平台。本论文的主要研究内容如下:(1)研究日志解析与特征提取算法研究日志解析算法,具体包括AEL(Abstracting execution logs,抽象执行日志)、IPLo M(Iterative Partitioning Log Mining,迭代分区日志挖掘)、Mo LFI(Multi-objective Log message Format Identification,多目标日志消息格式识别),以解决非结化话的文本日志数据转换为结构化数据数据问题,实现将文本日志数据转换成日志模版与变量。研究日志特征提取算法,包括基于固定窗口的特征提取、基于滑动窗口的特征提取、基于会话窗口的特征提取,以解决将日志模版与变量数据转换成模型可训练的数字矩阵问题。(2)研究日志异常检测的自编码网络模型研究自编码网络模型,具体包括普通自编码网络模型与变分自编码网络模型。以解决常用机器学习模型对于多元日志异常检测效果不显著的问题,实现无需人工标记的自动化日志异常检测模型。(3)研究日志平台搭建技术研究日志平台搭建技术,具体包括ELK日志框架、Kafka消息中间件、Flink流式处理和Flask框架。实现集日志采集、传输、处理、检测预警、存储、展示为一体的DEC日志平台。本论文的主要研究成果和创新点如下:(1)提出了一种联合自编码网络的日志异常检测模型对于日志异常检测需要标记样本的问题,本文提出了联合自编码网络的日志异常检测模型(UAE,Union autoencoder network)。自编码网络模型是一种具有代表性的深度学习模型,其在特征提取和泛化方面有着显著的优势。本文首先对原始日志进行解析,将非结构化的日志数据转换为数据矩阵。然后通过自编码网络模型的encoder层进行降维。降维后的数据使用IForest(Isolation Forest,孤立森林)模型进行检测,将IForest检测为正例的数据再由完整的自编码网络模型进行训练,达到不需要对异常日志进行标记就能训练自编码异常检测模型的目的。(2)提出了一种基于预标签的深度变分自编码异常检测模型深度变分自编码异常检测模型是通过模型的重构概率来进行异常判断。但由于其encoder层后会进行重采样,就不能使用联合自编码网络相似的方法进行对降维数据的检测。于是本文提出了基于预标签的深度变分自编码异常检测模型(PVAE,Pre-labeled depth variational autoencoder network),它首先使用CLOF(Clustering-based and LOF Outlier Detection Method,基于k均值聚类和LOF方法相结合的离群点检测方法)模型对原始数据进行预标签,并将预标签为正例的数据交由深度变分自编码异常模型训练。再使用集成学习的方法,对UAE与PVAE模型进行模型融合,将两种模型识别结果进行集成,只要其中一种模型预测为异常,则判断为异常日志。(3)搭建了一种DEC日志平台使用ELK框架搭建日志采集、传输、处理、存储、展示平台。并通过Flink流式处理框架,在日志处理层使用UAE模型与PVAE模型对日志异常的检测,检测出异常的日志,会发送告警邮件给管理人员。