基于KL距离的半监督分类算法

被引量 : 0次 | 上传用户:hanjiezm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络、医学等技术的发展,每时每刻都会产生大量的数据,为了储存和管理数据,还需要耗费大量的人力和物力。在这种背景下,数据挖掘方法被用于处理分类等实际应用中。但是,在传统分类任务中,只有通过增加人工标识的已知训练样本来提高分类精准度,造成了标注成本的增加。因此,围绕如何利用未标识样本来提高分类性能的研究与应用就引起了学术界和工业界越来越多的关注,其中,基于已知正类样本和未标识样本的半监督分类就成了研究的热点问题之一。本文主要研究在训练集中没有任何反类实例可供学习前提下,如何有效找未标记集中隐藏的反类实例。目前,基于已知正样本和未标识样本的半监督分类方法都是针对均衡数据集的,而无法有效处理非平衡数据问题,即训练集和未标识数据集中的类别数据分布差异很大或者未标识数据集中的反类实例个数特别少。针对这一特殊问题,本文提出的解决方法也是非常直接和高效的。由于在传统分类过程中,分类器最终是根据实例所属后验概率的大小来未标识实例分类,因此,本文提出了基于KL距离的半监督分类算法,利用未标识实例所属后验概率和训练集中类别先验概率的相对熵来衡量分类结果的正确度,从而抵消了类别不平衡对分类结果的影响,提高了分类的精确度。同时,针对平衡数据集,本文又提出了直接基于后验概率的熵值来衡量后验概率的差异程度:当后验概率的熵值越小时,后验概率的分布就越不均匀,对实例的分类可信度就越高,反之亦然。本文的主要贡献包括:1.提出了一种新的半监督学习方法。该方法的底层可以使用任何一种具体的分类技术,依赖任何一种底层分类技术,从而避免了分类器对分类结果的影响,降低了数据类型和分类器之间的依赖度。2.采用了更加简单灵活的处理方式:对于非平衡训练集,就采用基于KL距离的半监督学习算法;而对于平衡训练集,可以直接采用基于熵的半监督学习算法。3.提供的实验数据集,不仅有文本数据,还有非文本数据。同时,保证了不同参数或因素下的性能对比。4.提供了大量充分的实验来验证所提方法的有用性和高效性。通过文本数据集和非文本数据集的实验对比,本文所提的方法不仅在查准率和查全率上都优于同类方法。
其他文献
重点研究基于模糊控制的AMT换挡电机控制策略,通过将模糊策略引入AMT换挡电机控制,能够在降低换挡时间的基础上,提升汽车的加速性能。
目前,我国每年产生各类固体废物总量达54亿吨,但实际处理的固体废物只占很少比例,数以亿吨计的固体废物没有得到妥善处置。而这些废物一旦进入大气、地下水、地表水,就会造成
特朗普就任美国新一任总统,美国经济政策随之转变。减税、打贸易战和增加基础设施投资的政策组合,目的是解决美国经济面临的深刻的结构性问题,最终实现“让美国再次强大”这一目
报纸
本文是以韩城大红袍花椒籽为原料,研究了花椒籽种仁粗蛋白质的组分,分析了各组分的蛋白质分子大小,测定了花椒籽种仁粗蛋白质的氨基酸组成;重点研究了花椒籽种仁蛋白质的盐法
1目的研究戊己丸提取物不同配伍组方在体内对大鼠CYP450同工酶——CYP1A2、CYP3A1/3A2、CYP2A6、CYP2D6、CYP2E1酶活性的影响,在体外对CYP1A2、3A1/3A2、2A6、2C19、2D6、2E1
一、研究目的医疗检查是现代医疗服务不可或缺的重要组成部分。本文对医疗检查合理性及其相关问题的研究,有助于人们更深入、系统地了解医疗检查实施行为的基本特征和内在机
本文以发展经济学、创新经济学、金融学和复杂系统理论为基础,将复杂性、反馈性、时滞性和非线性纳入金融创新与经济增长关联性的研究中,确认两者关联变量、构建系统动态模型
目的:通过对浙江省宁波余姚市调查区的环境及人群进行铅检测,探讨该地区是否存在环境铅污染,铅污染来源,人体铅暴露主要途径以及人体铅负荷等暴露的主要分布特征,为环境铅污染
以《英国病人》闻名世界的加拿大当代移民作家迈克尔·翁达杰在写作上独具特色,他坚持走世界路线,超越国家、民族、阶级之上,在寻求自己文化身份的同时,关注不同文化尤其是东
心血管并发症是糖尿病患者致残和致死的主要原因。自1972年Rubler等提出糖尿病心肌病(diabetic cardiomyopathy, DCM)的概念,迄今已有较多的证据表明糖尿病心肌病是糖尿病的