在网购人群数量急剧增长的今天,互联网公司每天都会收集到上T级别的WEB日志和数据,这些数据真实地记录了每一个用户的访问行为,有着非常高的挖掘和研究价值。通过深入地挖掘和研究这些数据,可以获得大量有价值的潜在信息,分析出用户的行为规律,为产品运营人员提供客观可靠的依据,使他们的营销更具针对性,从而大大提高营销的效果。传统的关系数据库在面对上T级别的海量数据处理时已经显得力不从心,而分布式计算平台(hive,hadoop)的出现恰好解决了海量数据处理的计算瓶颈,让基于海量数据的数据挖掘成为可能。在淘宝买家数量庞大且稳定增长的情况下,卖家的经营开始从粗放型向精细型转化,而关联性营销就是其手段之一,本文以淘宝所有买家的海量行为日志和数据为基础,使用经典关联规则算法apriori算法,使用分布式计算平台将数据进行分布式ETL的抽取、清洗、转化、加载后,得到产品被购买的关联度,最终将结果简单明了地提供给卖家,为他们进行关联性营销提供真实可靠的数据依据,从而大幅度提高营销的效果,最终提高用户黏性和客单价。