随着互联网的日益普及和迅猛发展,网络上的信息量呈现爆炸式的增长,搜索引擎成为人们获取信息的主要方式,而且越来越受到重视。重复网页检测一直以来都是搜索引擎研究的重点。本文就如何提高中文重复网页的检测算法效率进行研究。通过比较目前国内外重复网页检测的若干方法,本人发现基于内容的重复网页检测算法有较好的效果,而且加入链接和链接信息并没有明显改善算法性能,于是着手研究基于内容的检测算法。DSC重复网页检测算法是典型的基于内容的重复网页检测算法,并且被广泛应用。该算法基于网页语法提取网页特征,实验发现该算法不适用于短小文档的检测。Google对DSC算法的试验评估发现在该算法中加入词频信息会提高算法效率。本文结合了词频统计和自然语言理解等策略,在计算词条权重时考虑了词频,倒置文档频率,位置等内容信息,各种信息按一定比例用统计的方法得到关键词权值；另外本文将向量空间模型应用到网页相似度计算中来,将网页进行解析预处理,提取出网页纯文本,然后进行网页中文分词,统计词条权值,提取网页特征向量得到网页文本向量表示后计算这些特征向量的余弦系数便得到网页相似度值。本文也对改进算法进行实验,分析实验结果发现本文的改进中文重复网页检测算法较之前的DSC算法在网页查重的准确率上有所改善。最后本人提出了若干需要后续进一步的地方。