论文部分内容阅读
针对目前Web信息挖掘中存在大量页面重复的问题，从Web信息的组织角度对其中的一些关键问题进行深入分析，提出了基于关键词的部分相似页面消重算法——Web多摘要消重方法（multi abstractremoverepeat，MARR）。MARR方法对传统基于词表和倒排文件的Web信息数据库进行改装，增加一个字段用于记录关键词所对应的摘要块号，采用文本摘要算法，按倒排文件方式索引，根据内容基于查询词目的相似程度，在检索过程中过滤或标识与查询词目相关的部分内部重复现象，以获得更合理的检索结果组织形式。MARR方