论文部分内容阅读
传统的网页权重过滤算法中的权重大都根据词频统计方法来确定，该方法不能很好地表达关键词对主题的表征程度，且易被某些网站利用反关键字过滤策略逃避检测。在传统方法的基础上，设置加权的关键字矩阵词典，从关联规则出发，应用汉语语料库里的同类词定义，提出基于同类词权重均值的关联过滤算法。试验结果表明，该算法过滤更为高效，并且能够很好地应对色情网站的反关键字过滤策略，尤其在色情与医学网页的分离上有明显的效果。