论文部分内容阅读
万维网作为广泛分布,巨大的全球信息服务中心,包含了各种动态,庞大的访问和使用信息,发现信息背后的知识,对于用户访问和个性化服务具有重要的意义。本文针对Web服务器日志的庞大,动态性丰富,高复杂度和局部信息有用的四大特点,以发现Web用户访问行为中潜在的规律和知识为目的,以Web日志关联规则增量式挖掘为手段,提出了一种基于聚类划分的Web日志关联规则增量式挖掘方法。首先,本文设计了一种基于聚类划分的Web日志关联规则挖掘方法。通过基于自组织神经网络(Self-organizing Feature Map,简称SOM)的聚类技术,对数据集进行任意水平均分为K组的数据子集,组成K个SOM神经网络训练集合,利用常规的SOM优化策略,对各组Web用户行为特征进行粗聚类划分;以每一类用户访问行为群为分析对象,由于每类用户访问行为特征相似,在这样数据集中的类中运用基于FP-growth(frequent-pattern growth)挖掘算法,既能有效的利用FP-growth无需产生候选项集的优势,又能减少FP树的分支,进而减少条件FP树的数量。然而一类用户的访问信息并不表示该类用户对没有访问到的页面不感兴趣,因此将每类用户访问群的频繁项集即局部频繁项集合并,重新评估得到全局频繁项集,进而挖掘Web用户访问行为的潜在知识和规律。其次,本文设计了一种基于聚类划分的Web日志关联规则增量式挖掘方法,该方法是基于上述的算法进行改进的,通过对动态信息丰富的新增Web日志运用上述的算法,得到新增数据的频繁项集,利用旧频繁项目集和新增频繁项目集,依据频繁项目集的性质,更新频繁项目集。该算法大大减少了数据库扫描次数,无需产生候选项集,有效的减少了FP树的深度和宽度,尤其是在类似于Web日志这种数据量大,动态信息丰富的数据库中,该算法的优势更加明显。最后,采用C#.net技术设计实现Web用户访问行为的关联模式挖掘模型,对预处理后的Web服务器日志数据进行实验分析,测试并评估该模型性能。实验结果表明,该算法能有效地处理大数据量下,动态丰富的Web日志数据挖掘,提高Web日志关联规则增量式挖掘的准确度和适应性。