互联网中文文本分类的研究与应用

被引量 : 13次 | 上传用户:libra163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文研究了互联网中文文本分类的相关技术,并对其中χ2统计量特征词提取算法进行了改进和优化,实现了互联网中文文本分类系统。论文完成的主要工作如下:(1)以Heritrix平台为基础,通过对爬虫程序进行定制修改,开发了互联网文本信息采集子系统,实现了对互联网文本数据的实时、不间断自动采集。(2)实现了基于正文文本块算法的文本解析模块,能够对网页文本中的大量无用信息进行有效剔除,并使用标题、来源、作者、发布时间、正文的格式对网页文本进行重新组织和整理,形成统一格式。(3)实现了文本分类子系统。文本分类包括文本分词、停用词处理、特征词抽取和分类器学习四个主要步骤。停用词处理选取了词频、文档频率和熵计算三种方法进行了实现;特征词抽取选取了文档频率、χ2统计量和信息增量三种算法进行实现;分类器选择了贝叶斯、决策树和k近邻三种分类器。(4)对分类子系统进行了改进。通过对比试验,本文对相关算法的优缺点进行了对比分析,并确定了文本分类的最佳算法组合。对χ2统计量特征词提取算法进行了改进和优化,有效地提高了文本分类的准确性。论文将文本分类与网络爬虫技术等相结合,实现了互联网中文文本的自动分类,开发的系统具有一定的理论意义和应用价值。
其他文献
推定是一个比较复杂的法律制度。对于从域外引入这一制度的我国来说,不论是在推定的概念、推定的性质方面,还是在推定的分类、推定的效力,以及推定与证明责任的关系方面都存
面临竞争日益激烈的国内国外市场,中小企业的管理者希望通过建立以客户为导向的发展战略,更加灵活的适应多变的市场环境,保持产品和服务的竞争优势,这就要求对中小企业落后的
体育是人类文明酝酿出来的一种特殊文化,足球作为世界第一运动,它的发展同样离不开文化对它的给养。因此,文化是足球生存和发展的根本,是足球运动的实质,发展足球不可忽视文
目的:通过针刺远端配合局部取穴治疗肩周炎的临床,科学的评价针灸远端配合局部取穴治疗肩周炎的临床疗效,为针灸的推广应用提供科学依据。方法:采用前瞻性队列研究设计,以中国
我国文化市场和文化产业的发展直接带动了文化经纪人的兴起,而文化经纪人素质和能力的提高又进一步促进了文化市场和文化产业的繁荣。增强策划意识和策划能力,是文化经纪人在
<正>水石设计成立于1999年,致力于打造专业化和综合性的设计平台。目前拥有建筑规划、城市规划、工程设计、景观环境设计等设计机构,在全国设有多家分公司。水石设计核心技术
通过对比东西方文化在文化起源、民族文化、哲学思想等方面的差异,探寻适合东方医学自身发展的中医学习路径。中国文化起源并发达于内陆地区的大河流域,在水土组合良好的地区
<正>一、丰富多彩的日本铁路盒饭在日本乘坐着列车一边看着车窗外的风景一边品尝着各地风味不同的铁路盒饭已经成为一种时尚。日本的铁路盒饭已经形成了一种地区文化,它积极