基于Web文本内容过滤系统技术研究

来源 :中国石油大学(北京) | 被引量 : 0次 | 上传用户:qaz123_family
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,网络上的信息成指数增长,如何从海量的信息中快速有效的搜索出符合条件的信息,过滤掉不需要的内容;同时,保护特定人群不受色情、暴力信息毒害,遏制不良信息的传播,实现安全上网,这些都需要网页过滤技术的帮助。有效的网络过滤手段已经成为互联网发展过程中不容忽视的重要课题。   网页过滤技术由文本过滤技术发展而来,通过对常用文本过滤技术的研究,分析了文本过滤技术和网页过滤技术的异同,继承了文本过滤技术的要义,同时也根据网页的复杂性,对过滤技术进行改进使之更适合在网页过滤中应用。   网页过滤可以分为包括网页获取、预处理、分类器的训练、分类过程和评价反馈几个模块,以形成一个自适应的网页过滤系统。网页的获取可以通过网络爬虫对网页上信息的爬取来实现。预处理阶段包括中文分词技术、去除停用词、向量空间模型的表示。采用SVM(Support Vector Machines,支持向量机)技术完成分类器的训练和分类,应用LibSVM软件进行网页的多分类,并通过实验加以验证分析,改进后的TF/IDF公式较改进前分类效果更好,加入反馈机制后,对分类效果有不错的提升。
其他文献
摘要:伴随着新课改的深入推动,积极打造高效课堂成为了每一位教师的任务,这关系到教师教学质量与教学效率。鉴于此,笔者结合多年执教经验,从多个方面展开分析,探究新课改下初中数学高效课堂构建的对策与方法。  关键词:新课改;初中数学;高效课堂  所谓的高效教学主要是指学生能够按照教学目标,达成教学要求与教学宗旨,在课堂中与教师拉近关系,实现良好互动,提升对教学内容的理解。在初中数学教学中,数学教师要从学
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
大棚栽培春黄瓜能够有效控制温度,促使农作物早熟,以满足市场需求。由于栽培技术的差异,造成春黄瓜产量不一。因此,寻找优质高效的栽培技术对春黄瓜早熟高产栽培具有重要意义
移动Ad Hoc网络(the Mobile Ad Hoc Network, MANET)是一种把移动通信和计算机网络结合在一起的网络,它具有分布式、自组织、自配置、自管理等特征,不需要固定基础设施的支持
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
无线传感器网络在一些领域中已获得广泛应用。面向不同的应用场景,各种被感知数据的特性及其应用传输方式区别很大,在很多应用领域需要传感器网络能够承载感知数据量较大的信息
近年来,目标雷达反射截面积(RCS)减小了一到两个数量级,进而降低了目标发现概率。面对弱小目标的威胁,检测前跟踪(TBD)方法是一种有效的目标检测技术。然而现有的TBD方法在多
近年来,艺术史学、计算机图形学和数字图像处理等领域的研究者们对视觉艺术理解研究越来越关注,由此产生的计算机辅助美学研究也被称为计算美学。传统的视觉艺术分析依靠艺术
摘要:现代数学教学极为重视学生数学思维养成,要求在进行数学教学过程中,要通过对数学思想进行渗透的方式,帮助学生养成正确的数学思维,以对学生数学学习质量进行保证。而数形结合作为重要的数学思想,自然也成为了数学教育者研究的主要对象。本文将以数形结合思想优势介绍为例,对数形结合思想在初中数学教学中的整合运用方式展开深度探究,期望能够为初中数学教学提供借鉴。  关键词:教学优势;数学教学;数形结合思想;数
维生素E是一种只能由光合生物包括植物,藻类和一些蓝藻细菌自身合成的一种淡黄色油状物质。它是一种有效地抗氧化分子,可以淬灭单线态氧,清除各种自由基。随着社会的发展,人类需