Web作为一个全球化信息空间,蕴含着巨大的潜在价值。尽管目前已对Web数据抽取技术进行了大量的研究工作,但是现有的技术还不能让用户满意。XML为Web提供了一致的数据模型和描述语言,已成为表示Web中多样性数据的事实标准。 论文通过对Web数据抽取步骤的分析和研究,针对目前存在的问题,提出一种快捷、实用的基于XML的web数据抽取技术的解决方案,并对其中涉及的关键技术,如搜索策略、转换算法、抽取方法等方面进行深入研究,期望为推进本领域的发展作一点贡献。 论文的主要内容包括如下几个方面: 1.提出了一种应用于小范围Web的搜索策略:改进的HITS算法。该算法针对小范围Web的链接结构特点,构造间接链接,并且根据用户访问的频率对链接加权。改进的算法使得小范围Web的链接结构更接近万维网的链接结构,同时链接加权输入结合了用户的反馈。理论和实验证明算法是正确的。 2.提出了一种基于栈结构的HTML到XML的转换算法。通过栈结构的概念,有效地将HTML格式转换为XML格式。简化了数据抽取工作,方便地形成XML文档,为处理XML文档、抽取出适当的数据作了铺垫。 3.提出了XML数据抽取的健壮性标准,将该标准运用于XML数据抽取的区域定位和映射合并中,并分别给出了符合健壮性标准的合适方法,从而提高了数据抽取的效率。 4.原型系统的实现。根据上述三点的研究结果,结合数据抽取技术、XML技术和Java技术,提供了一个快速、通用的基于XML的Web数据抽取原型系统,具有良好的适应性和可移植性。