基于子空间的局部离群点检测算法研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:wsadzjh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
局部离群点检测是数据挖掘领域的热点研究问题之一。信息技术的高速发展使各个领域内可以采集、获取到的数据信息逐渐增多,数据集的数据维数不断增长,高维数据随处可见。高维数据集中的数据在全局空间下,分布稀疏,数据对象趋近于均匀分布,数据集中的离群点被隐藏在高维空间中,传统的离群点检测算法不容易检测出这些离群点。子空间可以看作是数据集全局空间的一个低维投影,如何找到与离群信息相关的子空间,并在子空间中使用传统的离群点检测算法检测局部离群点,是目前高维数据局部离群点检测的主要研究方向。本文对已有的离群点检测算法进行分析与研究,对高维数据离群点检测的两个步骤:子空间选择与在子空间中使用离群点检测算法分别展开研究,提出一种基于子空间的局部离群点检测算法,主要内容如下:(1)针对局部离群点检测问题,提出一种基于局部估计密度的局部离群点检测算法。首先,使用带宽可以根据邻域稀疏、密集情况调整的核密度估计方法,计算数据对象的局部估计密度;然后,使用数据对象邻域中其它数据对象的平均局部估计密度与自身局部估计密度的比值,计算数据对象的局部离群因子;最后,使用数据对象的局部离群因子判断数据对象是否为离群点,将离群因子与给定阈值进行比较,将离群因子大于阈值的数据对象标记为离群点。经实验验证,该算法可以提升局部离群点检测算法的查全率。(2)针对高维数据的全局空间处理问题,提出一种基于维度的子空间选择算法。首先,使用基于累积熵的偏差函数作为子空间质量函数,来衡量子空间是否适合用于离群点检测:然后,以子空间质量函数为依据,为全局空间中的每一个属性维度构造其最优子空间并添加到子空间集合中,每个属性维度的最优子空间相对于该属性具有最高子空间质量。(3)针对高维数据的局部离群点检测问题,将基于维度的子空间选择算法和基于局部估计密度的局部离群点算法结合起来,提出一种基于子空间的局部离群点检测算法。首先,使用基于维度的子空间选择算法构造子空间集合;然后,对于数据集中每一个数据对象,在子空间集合的各个子空间上分别计算离群因子,再计算不同子空间中离群因子的平均值,将平均值记作数据对象的离群分数,综合判断该数据对象的离群程度;最后,将这个数据对象的离群分数与给定的阈值进行比较,如果离群分数大于阈值,则认为这个数据对象是离群点,否则认为这个数据对象是正常点。经实验验证,该方法可以改善传统的离群点检测算法在高维数据上的表现;对于高维数据集,该算法可以尽可能多的检测出数据集中的局部离群点。
其他文献
随着物联网技术的普及,我国农田水利工程项目建设正积极推进技术革新。目前大部分农业灌溉场景采用的监测方式还是人工手持设备现场测试和饱和式沟渠灌溉,这显然不符合农业生
因某电厂5号机组现有环保排放设计指标中氮氧化物排放参数不能满足广东省政府提出的“超洁净排放”要求即不高于50mg/Nm3。为适应国家最新的火力发电机组污染物排放标准,本课
为了解决集约化海水养殖过程中水体氨氮浓度测量存在的成本高、消耗大、难以实时有效检测等问题,本文以实验室集约化循环海水养殖控制系统在养殖大菱鲆过程中所采集到的相关
为了实现远距离水下无线光通信,超高灵敏度的单光子雪崩二极管(Single Photon Avalanche Diode,SPAD)被研究作为光信号检测器件。由于单光子探测器输出离散的单光子脉冲信号,
TD-LTE室内分布系统是利用室内天线分布将移动基站的信号均匀分布在室内,用于改善建筑物内移动通信,保证室内区域拥有理想的信号覆盖。本文在分析研究TD-LTE室内分布系统相关
近年来交通事故频发,经常出现救援不及时和事后取证困难等问题,主要原因是缺乏有效的事故现场图像信息。虽然城市道路中已存在大量的监控摄像头,但是由于成本高、铺设难度大
近年来,无人机(Unmanned Aerial Vehicle,UAV)技术在不断进步,无线携能网络(Wireless Powered Communication Networks,WPCN)研究体系也在不断完善。现有的WPCN技术能够解决
任意复杂不规则的几何截面形状的精确控制都可以通过解决三角形状的制造与控制来实现。通过三角形熔覆轨迹的搭接与层叠规划,获得对三角截面轮廓精确控制,进而实现对任意直线
由于控制系统的日益复杂化,一旦系统发生故障,极有可能酿成严重灾难。为最大程度减小故障带来的损失和影响,在故障发生初期就对系统采取有效的措施加以纠正是十分必要的,然而
化学疗法仍然是医治癌症的第一选择,但由于多种药物的耐药性(MDR),疗效往往不能令人满意。肿瘤细胞超过正常细胞的快速增殖和生长,将会造成两大类问题:一是需要大量的营养物质