基于特征选择及LDA模型的中文文本分类研究与实现

被引量 : 0次 | 上传用户:yushu522216869
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,科学技术突飞猛进,信息化进程不断加快,互联网日益普及,人们也因此有了越多越多的传播、获取、共享信息的渠道。但是,与此同时,人们也面临着巨大的挑战------“信息爆炸”。因此,人们急需找到一种方法,通过这种方法正确、方便地从海量信息中筛选真正对自己有用的信息。在这种情况下,文本分类应运而生。作为数据分析的一种重要形式,文本分类可对信息进行高效地管理,如今已被广泛应用于搜索引擎、数字图书馆、电子政务、邮件过滤等多个领域。作为文本处理的有效手段,文本分类包含了预处理、特征选择、文本表示、分类器选择、分类器训练、分类器测试以及分类效果的评估等步骤。简单来说,文本分类的作用是为文本预测类别标号。在文本分类的整个体系中,每一个环节都直接影响到最终的分类效果。预处理的作用是初步降维以减少冗余,这是为后面使用分类器所做的准备之一;特征选择能够去除噪声特征,同时也是文本降维的核心;文本表示能够将非格式化的文本转换为格式化的数据形式,以便计算机能高效地对其识别、处理;分类器担任判别类别标号的角色,通过训练使分类器学习到某个分类函数,这个分类函数能够将文本映射到某个类别,之后,使用训练得到的分类器对测试集进行预测,以检验分类器在新数据上的分类效果;分类效果评估则能够对整个分类体系作出全面、客观地评价。本文选取特征选择、文本表示作为研究重点,针对传统特征选择方法存在的不足,进行多方面的改进,并提出将特征选择方法和LDA模型相结合以弥补单独使用LDA存在的缺陷,从而进一步提高分类效果。首先,针对传统互信息特征选择方法忽视词频因素而存在的若干问题,本文提出了相对词频率、分散度以及绝对值最大因子。通过这三者改进传统互信息方法,以弥补其不足。其次,针对传统信息增益特征选择方法应用于不平衡数据集时,分类效果显著下降的情况,本文提出“最大词频率比”因子,得到一种改进的信息增益方法,其在平衡、倾斜数据集上均能获得较好的效果。最后,针对单独使用LDA主题模型所存在的分类精度不高的问题,本文提出将特征选择方法与此主题模型相结合进而进行文本分类的方法。作为主题模型,LDA不仅能够得到文本的主题概率表示,还能起到和特征选择方法类似的降维效果。但是单独使用LDA,分类精度并不高。因此,对于LDA,本文重点将其作为一种文本表示方法,在此之前,使用特征选择方法对文本进行处理,从而进一步提高分类效果。以上即为本文的主要研究工作。实验结果表明:本文所提出的改进的互信息特征选择方法、改进的信息增益特征选择方法能够弥补传统方法存在的不足。而且,与单独使用LDA相比,将改进的特征选择方法与LDA相结合能够得到更好的文本分类效果。
其他文献
在国际重视节能减排与促进绿色低碳发展的背景下,图书馆作为基本公共文化服务范畴,在提供优质的文化产品和服务,重视节约资源、环境保护等方面具有不可推卸的责任。而绿色图书馆
目前我国不断推进教育信息化进程,大量信息资源积累在网络中,信息资源形成信息孤岛,学校教学多媒体共享效果差,产生资源浪费问题。文中设计多节点网络化智能教学多媒体共享系
目前白酒感官评价方法存在着某些局限性,通过借鉴国际上酒类“风味轮”描述术语的研究,在中国白酒感官描述体系建立风味指纹图谱,并应用到豉香白酒的感官评定,具有客观、科学
边坡的失稳破坏是一种常见的、多发的自然地质灾害。我国南方多为丘陵地带,近20年来,高速公路、高速铁路等基础设施建设迅速发展,导致大量的路基边坡发生边坡失稳破坏。传统
我国作为全球五大旅游国之一,旅游明信片市场呈现出巨大的发展潜力。设计符号与元素的合理应用及合理配置是研究旅游明信片设计中语意表达的重要切入点,没有符号的运用,设计也就
随着我国高铁时代的到来,公路旅行客运受到了很大的冲击,高铁沿线的地市无不例外,比如泉州公路旅行客运在2013年底厦深高铁开通后客运量下降明显,泉州公路旅行客运企业面临重
红景天苷改善内皮功能及其抗动脉粥样硬化的作用及机制目的:红景天苷是天然植物红景天(Rhodiola Rosed)的主要有效成分。已有研究提示红景天苷具有抗动脉粥样硬化的作用,但其
随着我国基础设施建设的不断发展,在建设过程中采用工程技术和生态技术相结合的方法来满足工程和生态环境要求的新技术受到越来越广泛的重视。作为这种新方法之一的植物护坡
胡锦涛同志带领党和国家以及全国各族人民一起,依据国家的具体实际和国际形势的变化趋势,选择了一条符合中国国情的发展道路。胡锦涛发展思想以“以人为本”为核心,强调人的
锂硫(Li-S)电池具有成本低廉、环境友好、能量密度高等优点,是一种理想的下一代二次电池。现有的硫正极及相应的锂硫电池存在电极材料导电性差、电化学反应中间产物多硫化物