随着网络信息技术的快速发展,数据量呈现爆炸式增长,对数据挖掘技术提出了严峻的挑战,传统的数据挖掘技术在对这些海量数据进行数据挖掘时,呈现出效率低下,甚至无法完成等一系列问题。大数据、云计算技术的出现,为上述问题提供了良好的解决方案,其分布式存储、计算模式有效解决了内存需求大、磁盘I/O多等诸多问题。关联规则算法是数据挖掘中最经典、最成熟的算法之一,其主要功能是从相互关联的数据集中找出项与项之间的关系。本文基于Hadoop对经典的关联规则算法Apriori和Fp-Growth进行并行化改进,主要研究内容如下:对Apriori算法存在的生成大量的候选项集、多次扫描事务集、消耗大量的时间三方面缺陷进行改进。将剪枝策略运用在MapReduce编程模型中,对原始Apriori算法进行改进,有效降低了计算复杂度;在此基础上引入HBase继续对MR-Apriori算法改进,有效提高数据访问效率。Fp-Growth算法是对Apriori算法的一种优化,有效解决了Apriori算法中生成大量的候选项集、多次扫描事务集等弊端。但是,Fp-Growth算法在进行海量数据挖掘、最小支持度较低时,仍然存在着内存消耗大、计算时间长等一系列问题。本文在运用合并剪枝策略对Fp-Tree进行有效剪枝的基础上,基于Hadoop对Fp-Growth算法进行了并行化,并通过动态分组方法实现了负载均衡,提出了HDGFP算法。在Hadoop集群上对上述改进算法进行了对比实验和显著性分析,实验结果表明,基于Hadoop改进后的Apriori算法和Fp-Growth算法具有更高的高效性和良好的可扩展性,Fp-Growth算法虽然在效率上高于Apriori算法,但其在支持度较低时,会因消耗内存过大而运行失败,而Apriori算法则不会出现这样的情况。