基于HADOOP的电商实时用户行为分析系统

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wumou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网信息技术的发展,“线下线上相结合”的产业如雨后春笋般在各行各业茁壮发展起来,各种线下产业都开始走上线上之路。在此竞争日益激烈的背景下,企业如何抓住市场机遇,更好的发展。如何能够找到更好的突破口,是迫不及待要解决的问题。特别是互联网下数据爆炸式的增长。每天都会产生大量的数据。数据已经成为一种资源。它和黄金、能源一样宝贵。大数据已经成为企业的另外一种思维方法。如何能从这些海量数据中挖掘价值信息,成为企业的重要目标。大数据给企业带来了新的机遇,也带来了新的挑战,海量数据的存储,收集,计算,分析都是需要解决的问题。本文分析了国内外一些公司大数据背景下用户行为分析的主流模式,包括相关理论和流程,并由此提出了在目前电子商务迅速发展的背景下,设计了一套电子商务下实时的用户行为分析系统,来解决企业面临的大数据的采集,存储,实时分析等方面的技术问题。从而能够利用时效性高的特点为企业抢占先机,带来有效价值,实现业务增长。电商实时用户行为分析系统基于Hadoop[1]和storm开源框架下,使用Java技术进行开发。系统分为数据采集层、数据存储层、和数据分析展示层三大模块。各个模块下的子系统互相协调,共同实现了网站用户数据的实时分析。该系统具有以下特点:1)利用Hadoop分布式存储应对海量数据存储;2)流式计算引擎能够对网站用户行为实时分析,并生成实时结果数据;3)通过Web前端技术多维度可视化数据展示。目前该系统在上汽某电子商务有限公司得到了良好的实施,实践过程中,在大数据情况下的数据接入,实时采集,实时的流式数据处理,并在此基础上构建的用户行为分析模型。到最后产生的精准数据决策报表。都能够给决策层提供很好的支撑。该系统能够很容易的进行水平扩展,动态的增加数据存储的能力和并行计算的能力。被认为是一个性能优秀,可靠性高,扩展性强,开发框架简单的系统。不仅限于此,插件的模块的设计思路可以让该系统能够扩展到更广的领域。如实时监控,实时预警等。
其他文献
说到“夜市”,人们想到的大多是一些在晚上经营的美食摊。然而,在绍兴却有这么一个与吃喝无关、颇受当地群众欢迎的“三服务夜市”。据《绍兴日报》报道,今年4月底以来,滨海新城
报纸
提高国家文化软实力是当今世界各国的重要战略。中国需要研究自己的策略:既要针锋相对地培养来华留学生成为中国的文化使者,更要把关注点放在出国留学生身上,按照“静动变化”
从一些极端环境中分离的极端环境微生物(包括嗜碱微生物在内)因适应特殊的生境而具有特殊的生理生化性质,在新菌株的分离、极端酶的克隆和应用、极端环境适应机制研究、结构
基于科学技术的迅猛发展,电力系统的运行逐渐备受关注,物联网技术的应用促使电力系统得到有效的革新发展。而在5G时代背景下,针对物联网技术的发展势必会得到显著的提升,而其
在近年点心、精果类产品的销售出现下降的形式下,以新产品替代是十分重要的,以下是台湾《食品市场资讯》关于美国和日本该市场的分析及迎对未来营销的趋势。
分析了过错推定原则的性质特点及其适用于高校学生伤害事故中校方责任推定的必要性,讨论了过错推定原则适用高校学生伤害事故的局限性。认为司法实践中应注意过错推定原则的
利用2005—2006年PM10、SO2、NO2月平均浓度数据分析了天津地区空气质量状况,发现冬半年是天津市空气污染最为明显的时段。气象条件是影响空气质量的主要因素之一,冷锋系统对
锂离子电池作为一种备受瞩目的新能源器件,具有绿色环保、能量密度高、循环寿命长、自放电率低、反应机理简单等优点,已成为近年来的研究热点并在移动设备中广泛应用。开发高
在镀金时代的美国,垄断组织的产生和发展导致了经济秩序的紊乱.美国联邦政府为对付由此引起的阶级冲突和社会矛盾,稳定经济秩序而采取了一系列的反托拉斯举措.本文对19世纪末
桦潜叶蛾(Betula leafminer)是祁连山区桦树的一种重要害虫,主要危害桦树嫩叶。2002年起在甘肃天祝县乌鞘岭、古城林区初次发现。该虫在甘肃天祝县林区2a发生1代。幼虫坠落入土