论文部分内容阅读
随着互联网信息技术的发展,“线下线上相结合”的产业如雨后春笋般在各行各业茁壮发展起来,各种线下产业都开始走上线上之路。在此竞争日益激烈的背景下,企业如何抓住市场机遇,更好的发展。如何能够找到更好的突破口,是迫不及待要解决的问题。特别是互联网下数据爆炸式的增长。每天都会产生大量的数据。数据已经成为一种资源。它和黄金、能源一样宝贵。大数据已经成为企业的另外一种思维方法。如何能从这些海量数据中挖掘价值信息,成为企业的重要目标。大数据给企业带来了新的机遇,也带来了新的挑战,海量数据的存储,收集,计算,分析都是需要解决的问题。本文分析了国内外一些公司大数据背景下用户行为分析的主流模式,包括相关理论和流程,并由此提出了在目前电子商务迅速发展的背景下,设计了一套电子商务下实时的用户行为分析系统,来解决企业面临的大数据的采集,存储,实时分析等方面的技术问题。从而能够利用时效性高的特点为企业抢占先机,带来有效价值,实现业务增长。电商实时用户行为分析系统基于Hadoop[1]和storm开源框架下,使用Java技术进行开发。系统分为数据采集层、数据存储层、和数据分析展示层三大模块。各个模块下的子系统互相协调,共同实现了网站用户数据的实时分析。该系统具有以下特点:1)利用Hadoop分布式存储应对海量数据存储;2)流式计算引擎能够对网站用户行为实时分析,并生成实时结果数据;3)通过Web前端技术多维度可视化数据展示。目前该系统在上汽某电子商务有限公司得到了良好的实施,实践过程中,在大数据情况下的数据接入,实时采集,实时的流式数据处理,并在此基础上构建的用户行为分析模型。到最后产生的精准数据决策报表。都能够给决策层提供很好的支撑。该系统能够很容易的进行水平扩展,动态的增加数据存储的能力和并行计算的能力。被认为是一个性能优秀,可靠性高,扩展性强,开发框架简单的系统。不仅限于此,插件的模块的设计思路可以让该系统能够扩展到更广的领域。如实时监控,实时预警等。