错误标签数据的检测与分类问题研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:mena
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据的时代,获取数据的途径已经变得十分方便和快捷。在分类问题中,往往需要采用大量的标签训练数据。而训练数据标签的获取过程里,往往采用人工标注的方式。由于个人经验和实验测量的局限,不可避免的导致训练数据的错误标签问题。目前,多数分类方法并没有考虑错误标签数据对分类结果的影响,而单纯的任务数据仅受到噪声的影响或者认为分类方法自身对数据集具有一定的容错能力。但在许多实际应用中,错误标签数据对分类器的影响是不可忽视的。如何有效地检测出训练数据集当中的错误标签数据,并提高分类算法对错误标签数据的鲁棒性,在数据分类问题中具有十分重要的意义。  本文针对错误标签数据的检测和分类问题展开两方面的工作。一方面,分析训练集中数据的置性度权值,从而检测出训练集的错误标签数据;另一方面,基于检测结果,从数据特征提取和分类器两个角度提高分类方法对错误标签数据的鲁棒性。具体工作如下:  1.针对错误标签数据的检测问题,本文提出了一种新颖的方法,即基于稀疏重构权的错误标签数据检测方法。该方法对含有错误标签数据集采用 k近邻的方法求取其近邻点。然后,通过求解带L1-范数的最小二乘模型计算每个标签数据的局部稀疏重构权,并利用稀疏重构权计算每个标签数据的置信度。最后,寻找置信度曲线中最大曲率的位置,自适应地检测出错误标签数据。通过在不同数据集上的验证试验表明,我们提出的算法能有效的检测错误标签数据。  2.基于错误标签数据的检测结果,本文从两个角度开展分类算法的研究。  1)基于错误标签数据,提出一种有效的特征提取算法。度量学习算法是一种有效的特征学习算法,该算法同时考虑数据的标签信息和数据点之间的几何关系。我们基于度量学习中的经典算法近邻元分析(nca)的思想,在优化模型中引入样本数据的置信度权值,从而有效地降低错误标签数据的影响。通过求解优化模型,获取新的度量矩阵,从而有效提取数据的特征。  2)基于错误标签数据,提出新的分类器算法。我们对经典的最近邻分类器(knn)和支撑向量基(svm)提出改进算法。基于错误标签数据的置信度权值,我们将权值引入分类器算法,以降低错误标签数据对分类结果的影响。通过在实际数据上的实验,验证本文算法能有效降低错误标签数据对分类结果的影响。
其他文献
目标跟踪是计算机视觉领域中最具挑战的工作之一。近几十年来,研究者提出了多种优秀的目标跟踪算法,但实际环境中的目标跟踪仍然面临着一系列的挑战,跟踪过程中的目标外观变化,包
本文主要研究了基于TMS320F2812的级联无刷双馈电机控制器的设计与实现。首先,对级联无刷双馈电机(CBDFM)的结构与运行原理进行了分析,理论推导了电机的数学模型,对级联无刷双馈电机在异步、同步和双馈运行模式下的运行特性进行了仿真。其次,研究了级联无刷双馈电机气隙磁场定向的矢量解耦控制,通过建立电机的双同步坐标系模型,实现了控制子系统转子气隙磁链定向的矢量解耦控制,并对控制策略进行了仿真,仿
现代化温室因其高产高质的特点已成为我国设施农业发展的重要方向,发展迅速。但由于温室环境控制技术的复杂性,造成我国温室生产在产量及品质与发达国家存在很大差距。随着计
蛋白质质谱技术是一种蛋白组学研究有力的工具,在癌症的早期诊断和生物标志物(Biomarker)寻找中有着巨大的应用潜力。从模式识别的角度来看,癌症诊断和生物标志物寻找分别对应了
火灾是严重威胁社会安全的自然灾害之一。近年来,大型商场、社区、林区等场所火灾事故频繁发生,给人类社会生产生活带来了巨大损失。由于烟雾是火焰燃烧前呈现出的现象,因此可以
复杂性科学以复杂系统为研究对象.复杂网络是复杂系统中的新兴学科,广泛应用于不同的科学领域,如社会学、生物科学、计算机科学、物理学、工程学等,已成为复杂性科学领域比较瞩
近年来,Electrical Tomography (ET)技术因其无害,实时性强,价格低廉等优势,在工业及生物医学领域得到了快速发展。其中,侵入式Wire Mesh Tomography(WMT)技术在石油、化工等
热氧化炉作为工业废物焚烧处理的关键设备和能耗设备,在工业废物处理领域得到大力推广应用,但是,由于热氧化炉长期工作在高温环境下,且燃烧过程是强耦合的非线性系统,对安全控制要
随着无线传感器网络技术的快速发展,其应用领域越来越广泛,无线传感器网络应用于工业监视和控制的优势日趋明显。无线传感器网络中,链路的稳定性难以保证,通信信道质量比较低
根据西单国家电力调度中心污水处理工程项目的工艺流程及控制要求,结合国内外污水处理控制系统的现状,设计了该污水处理控制系统整体方案。采用工控机(Industrial Personal Com