对互联网中海量、异构、动态、离散的WEB信息进行整合,是实现垂直搜索引擎,提供高效主题信息服务的基础。林业WEB黄页是重要的林业信息资源,整合Internet上不同站点的林业电子黄页,形成全面而专业的林业WEB黄页数据库,为精准搜索、查询、对比乃至个性化服务提供数据支持,具有显著的应用价值。已有的研究已将不同林业站点中的林业黄页数据进行了初步的整合,然而由于WEB数据更新与变化频繁、输入有误等原因,整合信息中存在大量“脏数据”：包括异常数据、不完整数据和重复数据等,其中多数据源合并造成的重复数据是最关键的问题,因此数据去重成为一个研究的热点。本文首先介绍了数据去重的基本原理、常用算法,分析了其优缺点,然后结合林业WEB黄页的特点,重点提出了一种逐级聚类的数据去重方法,该方法首先通过关键属性分割和Canopy聚类将大记录集划分成小记录集,然后精确聚类重复记录。在精确聚类时,本文提出了基于动态权重的模糊实体匹配策略,并对黄页名称的特殊性进行处理,提高去重准确率。最后设计并实现了林业WEB黄页数据去重系统,并实验验证了所提方法在时间效率和准确率上均优于传统算法,具有较强的实用性,能够有效的解决林业WEB黄页整合中的数据去重问题。