【摘 要】
：
分布式系统的广泛应用解决了集中式系统的处理和存储瓶颈。随着数据量的爆炸式增长,分布式节点间进行全局数据整合分析的需求也越来越强烈。分布式监测系统中的异常流检测与评估作为数据整合问题的一种,在诸如网络攻击检测、流感预测和搜索关键字分析等方面具有重要的应用。受限于网络带宽、拥塞、时延等因素的影响,分布式节点间不能通过直接传输海量数据的方式进行全局数据整合,应设计更高效的整合方法来降低节点间的通信开销。
论文部分内容阅读
分布式系统的广泛应用解决了集中式系统的处理和存储瓶颈。随着数据量的爆炸式增长,分布式节点间进行全局数据整合分析的需求也越来越强烈。分布式监测系统中的异常流检测与评估作为数据整合问题的一种,在诸如网络攻击检测、流感预测和搜索关键字分析等方面具有重要的应用。受限于网络带宽、拥塞、时延等因素的影响,分布式节点间不能通过直接传输海量数据的方式进行全局数据整合,应设计更高效的整合方法来降低节点间的通信开销。此外,在分布式多流环境中,如何恰当地设置检测异常的阈值以及对异常流进行评估,也是亟待解决的问题。在充分调研现有工作的基础上,本文提出了单监测周期的异常流及其重复元素的检测机制以及多监测周期中自适应阈值的异常流检测与评估机制。具体研究内容如下:（1）以最小化通信开销为目标,提出了一种高效的单周期异常流及其重复元素的检测方法。通过使用紧凑型数据结构对各监视器的数据集进行压缩,以较小的通信代价估计出每条流的元素分布情况,进而检测出异常流。对于每条异常流,利用布隆过滤器将其非重复元素尽力筛除,并通过概率分析推导出布隆过滤器的最优参数,实现了通信开销的最小化以及保证了检测结果的准确性。（2）将异常流检测问题扩展到多监测周期中,提出了一种自适应阈值的异常流检测与评估机制。构建异常流每个重复元素的持续重复序列,利用时间序列模型预测它们未来的发展趋势。然后根据总体的变化,自适应地调整异常流检测重复元素的阈值,实现了多异常流的差异化检测。同时,构建了客观合理的评估指标体系,利用层次分析法计算每种影响因素的权重,对异常流的影响力进行合理化地评估。上述两种机制实现了异常流在单周期的精确检测以及多周期的动态调整和评估。理论分析和基于真实数据集上的实验都证明了所设计的两种机制具有合理性和实用性,同时保证了检测结果的准确性。
其他文献
网络信息日益膨胀,信息过载问题也日益严重,推荐系统逐渐成为解决这一问题的重要途径。单领域推荐往往会受到数据稀疏和冷启动等问题的影响,因此跨领域推荐成为了推荐系统中一个新的研究分支。在现实生活中,相似的用户可能在不同的领域有相似的品味,这使得跨领域推荐成为一种很有前景并且非常实用的推荐技术。然而,由于负迁移的存在,我们在如何联系用户在不同领域的交互行为,以及如何充分利用辅助领域来帮助用户完成目标领域
战斗部在高能炸药爆炸作用下,形成大量高速破片,这些破片通过侵彻、射流等方式毁伤目标。通过对战斗部破片进行检测与跟踪,获取破片飞行状态和飞行参数,为战斗部毁伤威力提供重要参数依据。由于战斗部破片具有速度高、尺寸小、数量多等特点,以及靶场试验环境复杂多样,一般的图像处理方法满足不了高速摄影中破片图像处理与测量的需求。因此,研究基于深度学习的破片群目标检测与跟踪具有重要的工程应用价值。论文的主要研究内容
复述识别任务,旨在判断两个自然文本是否表达相同的语义,是自然语言处理中的一项基础任务,解决该任务的关键是正确理解句子的语义以及判断出两个句子之间的关系。目前,复述识别方法主要基于深度神经网络模型,该类方法将复述识别任务视为一个二元分类任务,并取得了很大进展。但现有方法在问句复述识别任务中以及在特定领域的复述识别任务中还存在不足之处,如存在信息缺失导致的语义理解与交互不充分问题。因此,本文针对以上科
城市体检作为贯彻落实中央城市工作会议精神的新型城市治理方式，已成为监测“城市病”、推动高质量发展的重要举措。目前，地级市层面的城市体检评估方法与实践研究已有较多，针对中小城市特别是县城的探讨较为缺乏。文章以江苏省金湖县为例，从中小城市发展面临的问题出发，深入研究中小城市响应城市体检的工作思路与规划应对策略，探索建立多领域综合、多主体协同、多维度应对、多特色呈现的工作机制，为中小城市治理提供技术方法
目标跟踪算法是机器视觉领域的一个分支,在智能监控、智能交通等领域得到广泛应用。基于深度学习的目标跟踪算法相较于传统的目标跟踪算法在精度方面更具优势。但是,基于深度学习的目标跟踪算法通常伴随着大量的数据计算,而随着移动设备的普及,目标跟踪技术的应用场景则开始向体型小、方便移动的方向发展,这便限制了那些只能依靠大型计算机的算力才能达到较高精度算法的使用。因此,研究出一种既能保持较高准确度又能适用于小型
随着互联网技术和电子商务的蓬勃发展,各种应用平台上涌现出许多带有主观情感的文本,正确分析这些文本中的情感倾向有助于实现多种智能服务应用,例如,舆情监控、企业征信、个性化推荐等。因此,情感分析受到了越来越多研究者的关注。本文研究的属性级情感分类是情感分析领域中一项细粒度的任务,旨在识别文本中针对某个具体属性的情感极性。现有的属性级情感分类方法大多依赖于标注样本,然而样本标注工作费时耗力。而且,相对于
为了解西藏岗巴县不同草地类型盛草期牧草品质与土壤理化性质关系，在每块草地中沿对角线方法布设6个间距为10 m，大小为0.5 m×0.5 m的样方，采集样方中所有的高山嵩草（Carex parvula）和青藏苔草（Carex moorcroftii Falc.）、披碱草（Elymus dahuricus）、针茅（Stipa capillata）和羊茅（Festuca ovina），并在每个采集过植物
随着互联网和移动通信技术的迅猛发展,无结构化数据呈现爆发式增长。事件检测已经成为快速获取与管理数据的重要技术之一,旨在从无结构化的数据中检测事件触发词。目前,大部分事件检测方法基于句子级信息展开研究,缺少对篇章级信息的利用,导致无法有效检测出依赖于篇章级信息的事件触发词。因此,本文针对篇章级信息在事件检测任务中的应用进行了深入的研究。具体研究内容分为以下三个方面:（1）针对句子与其上下文关联问题及