一致性日志异常检测方法研究

来源 :中国民航大学 | 被引量 : 0次 | 上传用户:fourseasons2002fox
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
系统日志详细记录系统运行期间的信息,被广泛地用于异常检测。然而,在系统日志数据集中,因不同类别日志之间出现过多相似属性会导致决策边界太复杂,由此引发的日志类重叠问题会使传统分类器很难实现正确分类,从而给基于日志的异常检测带来极大挑战。另外,有些系统需要7×24小时运行来支持广泛的智能应用程序和在线服务。概念漂移或模型老化往往发生在不稳定环境中,各种各样的运行程序生成更复杂和可变的日志。基于日志的异常检测算法面临着不稳定问题,表现为在系统剧烈变化环境下的精度降低现象。本文针对严重影响日志异常检测的这两类主要问题,即日志类重叠问题和日志不稳定问题,围绕其缓解方法展开研究,研究工作主要如下:第一,在类重叠日志区域,因预处理技术过于耗时和传统分类器难以给出预测风险问题,提出一致性异常检测模型。该模型首先通过模糊K近邻(KNearest Neighbor,KNN)算法计算测试样本的隶属度,根据传统分类器的准确率差值选择最佳模糊度分离出类重叠日志,并使用T分布和随机近邻嵌入(T-distributed Stochastic Neighbour Embedding,TSNE)降维可视化以进一步观察类重叠现象;其次通过集成分类器的不一致性度量函数得到统计量p值,根据预设置信度得到类重叠日志标签,使得预测风险可控。实验结果表明,相比传统分类器,该模型的召回率和F值等平均提高10%左右,验证了该模型在处理类重叠问题的有效性。第二,为缓解日志中出现的不稳定问题,设计了基于置信度协同多种算法的异常检测模型EBCAD(Ensemble-Based Conformal Anomaly Detection)。首先,用统计量p值度量日志之间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算得分进行协同检测;其次,根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常。最后,设计了基于置信度的更新机制。它将受不稳定环境因素影响导致检测错误日志的不一致性得分添加到已有得分集,作为更新以往日志异常检测的经验。HDFS和BGL_100K数据集上的实验结果验证了该模型在处理不稳定日志问题的高效性。
其他文献
传统的推荐系统利用用户历史交互数据来估计用户对项目的偏好,但现实中用户的偏好是随着时间推移而变化的。近年来,为解决其存在的这种信息不对称的问题,推荐系统开始采用交互式对话来获取用户对项目和属性的实时动态偏好,同时在一定程度上克服了传统静态推荐模型的冷启动和缺乏可解释性等问题的固有限制。然而目前的对话推荐系统还处于发展的初期,仍面临着不少挑战和难题。个性化问题:现有的对话推荐系统过于注重用户当前的偏
学位
慢性炎症性疼痛在临床上长期困扰着患者,但其潜在机制尚不清楚,具体的治疗策略仍需进一步探索。龙血素B是从剑叶龙血树中提取的一种黄酮类化合物,有研究认为其具有止血、抗炎、镇痛等作用。我们通过分析完全弗氏佐剂(Complete Freund’s Adjuvant,CFA)诱导所致小鼠炎症性疼痛模型的脊髓转录组学来研究龙血素B的镇痛作用。行为学研究发现,龙血素B使CFA疼痛模型小鼠的机械痛阈值明显升高。差
学位
研究背景与目的胰岛素抵抗(Insulin Resistance,IR)是2型糖尿病发生的基本环节,运动改善IR的机制主要涉及骨骼肌AMP激活蛋白激酶【Adenosine 5’monophosphate(AMP)-activated protein kinase,AMPK】活性的增加,但其上游分子调节机制远未阐明。我们在前期研究中已发现,肝脏转甲状腺素蛋白(Transthyretin,TTR)在急性
学位
背景与目的溃疡性结肠炎(Ulcerative colitis,UC)是一由环境因素、遗传因素及免疫因素共同作用而引起的特发性肠道炎症性疾病,常常反复发作,最终导致肠道屏障损伤。越来越多的证据表明蛋白泛素化修饰调控肠道炎症发生发展。DCAF(DDB1-and CUL4-associated factor)家族蛋白可与CRL4-DDB1构成E3泛素连接酶,调控细胞生长、分化、凋亡等一系列生命活动。DC
学位
机场道面外来物FOD具有背景复杂、目标弱小的特点,严重影响飞行器安全,故其高精度实时检测具有重要意义。针对该问题,本文提出一种基于多尺度超分辨率特征金字塔并带有纹理信息提取模块的FOD-RDN(FOD real-time detection network)目标检测网络。该网络采用Darknet-53作为主干网提取特征,通过多尺度超分辨率特征金字塔对形状各异的小目标进行检测,设计纹理信息提取模块降
学位
自“智慧交通”的概念被提出后,智慧出行开始获得大众的喜爱。传统的出行路线推荐算法通常由改进的加权算法生成路程最短或最快的路线,而没有考虑到用户的出行偏好和实际的交通道路状况,用户在现实世界中通常不遵循该方式推荐的路线出行。所以如何为用户提供最优的出行路线成为研究者最关注的热门话题之一。现有的基于轨迹的路线推荐算法,在考虑用户出行路线规划的问题时把大部分注意力放在轨迹上,过于依赖用户的历史轨迹数据;
学位
目的:未分化甲状腺癌(anaplastic thyroid carcinoma,ATC)作为一种高死亡率甲状腺癌特殊亚型,属于侵袭性最强的肿瘤之一。研究表明,复杂的基因相互作用会影响ATC肿瘤的发生和预后。因此,本研究旨在寻找与ATC发病相关的潜在关键基因。方法:下载GEO数据库中的GSE33630和GSE65144表达谱芯片并筛选差异表达基因(DEGs),进一步构建蛋白质·蛋白质相互作用网络(P
学位
X光安检机广泛应用于机场、火车站、地铁站等交通运输领域及各种大型公共活动场所,是维护公共安全和运输安全的重要设施,旅客行李通过X光机扫描并实时产生安检图像,安检员通过检查安检图像判断行李中是否存在违禁品,从而保障公共安全。然而人工检查机制存在着安全隐患,随着客流量的日益增长,长时间高强度的工作会使安检人员产生疲劳,增加了漏检和错检的风险。因此,对X光安检图像中的违禁品进行智能识别辅助安检员工作具有
学位
研究背景及目的胃肠道血管畸形是一种表现为粘膜及黏膜下层血管不规则增生、扩张、充血、迂曲的血管病变,它也是不明原因消化道出血(Obscure gastrointestinal bleeding,OGIB)的重要原因。胃肠道血管畸形起病隐匿,通常无明显症状,有研究表明无症状性结肠血管畸形发生率低,但目前关于胃及小肠无症状性血管畸形的具体患病情况及疾病演变仍不明确。另外,磁控胶囊胃镜(Magnetica
学位
背景与目的:结直肠癌(colorectal cancer,CRC)是目前最常见的恶性肿瘤之一。绝大多数CRC是由结直肠腺瘤发展而来。结肠镜检查及切除腺瘤是降低CRC发生最有效的方式,结肠镜腺瘤切除术后定期随访可有效阻断CRC的发生。目前对于结直肠腺瘤切除术后的随访间期没有一个金标准,2020年发布的美国及欧洲指南对结肠镜腺瘤切除术后的随访间期进行不同程度的延长,但两个指南的随访间期差异较大,对临床
学位