在数据挖掘范畴中,关联规则算法是至关重要的一个分支。在计算机技术与互联网飞速发展的今天,金融、电信、保险等多领域日常数据呈现出爆炸式地增长,分布式关联规则算法有了更广阔的发展空间。已有的并行Apriori算法普遍存在数据库扫描次数多、内存损耗高和节点间通信量大等无法同时最优化的问题。本文提出一种基于加权项集的并行Apriori算法,将原始数据库转化为布尔型矩阵和权值矩阵,减少了内存的消耗;利用水平划分把矩阵切割成n个小矩阵,引入最大项集长度限制了对现实意义微小的候选项集生成,使用矩阵运算计算候选项集的支持度和平均权值,缩短了算法的运行时间;使用最小支持度和最小平均权值双重阈值,减少候选项集的生成。本文的主要工作有以下几点:(1)对Hadoop分布式系统的研究:详细介绍了 Hadoop中的核心技术和运行机制,包括分布式文件系统(HDFS)、数据库HBase和MapReduce计算框架。介绍了数据挖掘的基本概念与基于Hadoop的数据挖掘系统的需求和基本框架,最后给出了系统模型。(2)对并行Apriori算法的改进研究:针对已有并行Apriori算法存在的多次扫描数据库、内存损耗高、节点通信量大及I/O负载严重等问题,提出了一种基于加权项集的并行Apriori算法。该算法使用最小支持度和最小平均权值双重阈值限制候选非频繁项集的生成,并用矩阵运算计算项集支持度和平均权值,设定最大频繁项集长度来挖掘对现实意义较大的项集,通过一次扫描数据库生成全部频繁项集。(3)搭建实验平台,验证改进后的算法效率:通过搭建Hadoop分布式集群,对Apriori算法、AprioriMR算法与基于加权项集的并行Apriori算法从数据规模、节点个数、支持度大小等几个方面进行性能对比。实验结果表明:在最小支持度一定时,节点个数越多本算法效率越高,但当最小支持度增加到一定程度时,由于满足最小支持度的候选项减少,改进算法效率提高变得缓慢;在最小支持度一定且用多个节点挖掘相同规模的数据时,改进算法比AprioriMR算法使用更短的执行时间;当节点数增加到一定程度时,节点间统计候选项集支持度和平均权值的时间也随之增加,改进算法的效率会有所下降。