关联文本分类关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:hyc20008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息存储技术和通信技术的飞速发展使得越来越多的文字信息开始以计算机可读的形式存在,并且其数量每天都在增加和更新。对大量电子文档进行有效的过滤并进行自动分类组织,将有助于文档的检索和分析。关联分类作为基于规则分类方法的一种扩展,已经引起了众多研究者的兴趣,但其在文本领域的应用仍未得到充分的重视。为了使关联分类更好地适合文本分类的需要,对关联文本分类中存在的主要问题进行了深入细致的分析,提出了相应的解决策略,取得了比现有文本分类系统更好的精度和效率。围绕关联文本分类的关键技术完成了以下工作:比较和分析了不同支持度阈值对关联分类系统性能的影响。证明了在文本分类中,较低的支持度设置可以提供更大的词典和对数据更全面的描述,因而有利于分类性能的提高,但这同时也会导致规则数目的急剧膨胀和噪声比例的上升,规则抽取工作将变得更加低效和困难。在深入探讨影响规则抽取速度因素的基础上,针对规则抽取中的规则评估和规则筛选,分别提出了两种优化技术。在评估阶段,提出一种“数据缓存”和“倒转匹配”相结合的优化技术,避免了对原始数据集的多次遍历及对每个文档求子集操作所带来的巨大开销;在筛选阶段,提出一种“垂直修剪”的优化技术,代替目前常用的完全方式的“一般-特殊”序裁剪,该方法在保证区分性能的同时可明显减少计算时间。系统研究了关联分类环境下的特征选择问题。分析了在关联分类中按传统的预处理方式选择特征所导致的问题,阐述了在关联分类环境下设计新的特征选择方法的必要性。通过证明支持度、置信度与特征选择常用度量之间存在的转换关系,提出一种将特征选择集成到规则评估阶段的新方法,从而解决了预选特征不能保证成为频繁项的难题,同时总结对比了各种特征选择的常用度量在关联分类中的性能表现。在此基础上,提出了一个结合特征选择和规则选择的快速规则抽取算法FARE。提出一种新的关联区分算法ACA,该算法引入了一种“接受者决定”思想,以便当多条存在“一般-特殊”序的规则匹配同一测试文档时,由测试文档本身自适应地选择其最佳匹配规则,以取得准确率和召回率之间的合理平衡。ACA还引入规范因子和置信区间的概念,以消除因分类器之间规则数量和质量差异而导致的区分性能下降。此外,ACA提出利用类别特征词形成虚拟规则以对部分无法匹配的测试文档进行区分。对比实验表明利用ACA区分算法可以取得比其它区分算法更高的精度。对不同关联模式在文本分类中的应用进行了深入的探索。提出了一种基于句子级别约束的2-阶段规则选择方法,同时对句子级别分类方法的优缺点进行了深入分析:利用句子级别约束可加快规则选择的速度,在某些应用中表现出良好的区分性能,但另一方面,规则过少、难以匹配等问题限制了其进一步的推广使用。因循这一研究思路,进一步提出在文档级别利用超级关联组合替代频繁项进行分类的方法,并从候选规则数目、训练时间和区分性能等多个角度比较了两种模式对分类系统的影响,得出了超级关联组合比频繁项更适合作为候选模式的重要结论。与其它著名文本分类算法如SVM的对比还表明,以超级关联组合作为候选模式,结合快速规则抽取算法FARE和关联区分算法ACA,可以取得媲美或超过SVM的区分效果,且其时间开销远远小于SVM。在深入分析中文语言学特性对关联文本分类的影响的基础上,提出利用prefix-hash-tree完成中文文档向事务数据的转换,并提出利用词汇类频率量化划分和过滤中文词汇,以有效缩减事务数据库规模,提高训练和区分算法的效率以及区分的精度。以此为基础开发的自动文本分类工具已成功应用于多个电子政务项目。
其他文献
本文探讨了在农机监利工作中如何将“平等、民主、和谐”理念容纳其中。
本文通过对重庆直辖以来一系列财政支零政策的疏理,分析了财政支农政策对全市经济社会发展特别是促进农业农村经济的发展和农民生产生活水平的提高,在践行“314”总体部署、城
绚丽之美是美的一种特殊的形态,它既不属于优美,也不属于壮美,而是一种独立的美学形态。对绚丽之美的追求,渗透在宗教、伦理和日常社会生活中,表现为一种独特的审美心理和习
数据资源是信息社会中最宝贵的资源之一;科学数据是e-Science活动的重要基础。关系型数据通常是经过认真设计和仔细整理的数据,具有更高的价值。大量用户通过网络共享大量关系
在动物世界中,争斗现象是屡见不鲜的.不过,它们也有自己的争斗原则:尽量避免流血事件,防止出现"你死我活"的场面.这是为什么?据动物行为学家的研究表明,其主要原因有以下两个
2004年8月13日。希腊雅典。奥林匹斯远山的一声呼唤,牵引出无数次冲向终点的激情与动力。这一天,众多希腊的女神将普罗米修斯采来的神圣火种播撒人间,成就了4年一次的旷世聚会。
  笔者讨论的医疗过失,是指医师在实施医疗行为过程中违反技术上的必要注意义务,导致患者生命权、健康权受到侵害的行为。其特征包括四个方面:一是医疗过失是医师的
期刊
<正> 在被炸弹轰炸后的喀布尔,一位年迈的马车夫正在给他的一家人寻找一处避难所,这个家庭不断地搬家。他等待着失散的儿子从巴基斯坦归来,而他的女儿则梦想成为阿富汗未来的
相关反馈方法和高维数据的索引机制是面向大规模图像库基于内容检索的两个重要问题。相关反馈方法是弥合图像检索中高层语义和低层特征之间语义间隔的一个重要途径,而有效的高
随着计算机和Internet技术的飞速发展,信息资源的共享程度进一步加强,但是随着社会网络化程度的增加,开放式网络体系的安全性隐患开始日益明显的暴露出来。新的漏洞,新的病毒