论文部分内容阅读
随着网络的发展及个人电脑的普及,越来越多的信息被发布到因特网上。Web信息门类齐全、数据量庞大,几乎无所不包,然而面对如此庞大的信息海洋,用户关心的只是其中很小的一部分信息,需要提供有效的搜索引擎或信息集成工具,帮助用户快速、准确地找到其所感兴趣的信息。在海量Web数据空间中,Web信息通常以网站的形式进行组织,各网站设置自己的分类目录以实现信息页面按类别组织和发布。然而不同网站进行类别划分时,标准不统一,分类用语不规范,存在明显的语义差异,难以相互兼容、合并,更无法实现多源Web信息的有效集成。因此迫切需要提供一种有效的Web信息语义特征表示方式,以解决网站分类语义异构问题。为解决网站分类信息的语义异构问题,本文阐述了基于向量空间模型和基于重复模式的语义特征表示方法及两种表示方法的语义更新策略。在分类体系中,将分类概念作为描述Web信息类别的原子节点,通过标准化的分类概念语义特征体现Web信息类别的潜在语义信息,从而实现Web信息的统一理解和规范性描述。以网站分类语义统一理解及规范性描述为核心,为实现Web信息语义特征标准化,本文的研究内容包括:Web页面信息获取技术,Web信息语义特征表示方法研究及Web信息语义特征时效性及更新策略研究。首先,完成Web页面信息下载和HTML标签解析,从Web页面及其结构中提取出描述及表示语义特征的有用信息,改进现有TF-IDF权重计算算法,提高特征项权重的准确度;其次,分别采用两种表示方法进行Web信息语义特征规范化描述。基于向量空间模型的语义特征表示方法通过对样本网页分词、数据清理、特征权重计算、特征选取、生成特征向量等操作将每个分类概念表示成特征向量。基于重复模式的Web信息语义特征表示方法采用相关矩阵法发现Web网页中所有的重复模式,通过γ近似匹配算法对不同类别中相似的重复模式进行归一化处理,得到分类体系中每个分类概念的重复模式及重复次数对语义特征进行表示;最后,根据Web信息变化性和时效不确定性,制定语义特征更新策略,在相应时间内更新所属分类概念的语义特征,使语义特征的表示更加准确。