互联网和移动互联网的快速发展促使全球数据量爆炸式地增长,Web已经成为各领域最具潜力和价值的巨大信息来源。Web网页中除了用户关注的正文等相关信息,还包含着导航、广告和版权等大量与网页主题无关的噪声信息。面对海量、繁杂的Web信息,如何快速有效地获取所需要的信息来做进一步的挖掘,获得更多潜在价值成为一个具有研究意义和实用意义的课题。Web信息抽取(Information Extraction)的研究正是为了满足这些需求而出现的热点研究方向,并被广泛应用于商业数据挖掘、社交网络分析和垂直搜索引擎等领域。所谓Web信息抽取,即从半结构化或者非结构化的Web页面中抽取数据,转化成结构化的数据以进行挖掘和利用。目前,互联网上的网页大多是通过模板动态生成的,基于机器学习的信息抽取方法和基于统计的信息抽取方法都过于依赖语料的质量和数量,并没有充分利用网页的模板和结构特征,并且标注数据在不同语言上分布不均衡,在一定程度上也影响了Web信息抽取的准确性。因此为了从某些类似的网页中提取出结构化的信息,可以充分利用网页的结构特征,挖掘这类网页的共同点,找出网页对应的模板,并用模板去抽取网页中的信息。基于对Web信息抽取相关研究背景及现有抽取算法所存在问题的分析,本文所研究的内容是:(1)提出了一个面向Web全站数据的信息抽取算法框架。对海量的各式网页组成的数据,先利用改进的后缀树结构高效地找出每个网页的重复记录,对DOM(Document Object Model)树进行剪枝并合并重复记录,然后通过聚类将不同模板生成的网页分开,在每个类别中利用无监督的方法抽取对应的模板,利用这些模板抽取关键信息。(2)提出了一种基于改进K-Means的增量聚类组合模型。该模型基于DPM(Dirichlet Process Mixture)模型学习一个合适的聚类个数K值,然后通过K-Means进行聚类。同时针对Web全站网页数据量大的特点,在聚类的过程中,加入局部敏感哈希方法计算类的指纹信息,用其来筛选出小部分备选类,再从备选类中找出最相似类,对相似类进行增量合并,从而快速将不同类型的网页类别区分开来,方便抽取网页模板。(3)提出了充分利用网页结构特征的模板抽取和匹配算法,即利用改进的最大公共子序列(LCS)算法,结合DOM树的深度信息抽取网页模板,根据模板对新网页进行匹配并进行内容抽取。为了验证算法的有效性,本文从主流Web站点获得的数据入手,对核心模块进行了详细的实验和分析,同现有的部分抽取算法进行了实验效果比较,结果表明,该方法能够自动寻找并抽取网页主要信息,抽取准确率有明显的提升。