【摘 要】
：
为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化。在数据重新组织方面,使用ORC数据格式存储数据,
论文部分内容阅读
为了提升电商大数据平台复杂数据操作性能,通过分析电商业务特点,从数据重新组织与平台参数调优两个方面对数据平台进行优化。在数据重新组织方面,使用ORC数据格式存储数据,并对数据表进行合理的分区、分桶;在平台参数调优方面,对业务涉及到的主要组件参数进行针对性调节。最后,通过搭建具有32个节点的Hadoop集群,并使用TPC-DS测试集进行仿真实验,验证调优思路及方法的有效性。结果表明,调优之后的平台性能大约是未进行任何优化平台的7.5倍,优化效果显著。
其他文献
为了研究空芯光纤中氩气的放电特性,利用有限元软件COMSOL Mutiphysics基于流体模型对长为50mm空芯光纤中的气体放电过程进行仿真,得到氩气放电过程中等离子体的主要参数分布
Java Web是计算机专业核心实践课程。传统课程管理方法需要教师手动逐个部署、运行并检查学生项目程序,效率极低且极易发生错误,实现Java Web课程项目自动管理和分析势在必行
目的探讨彩色多普勒超声在尿道前列腺部结石中的诊断与鉴别诊断的应用价值。方法对临床最后证实的50例尿道前列腺部结石作回顾性分析,并与50例经手术并经病理证实为前列腺结
研究在现有条件下黄龙滩水库的洪水调度，探讨在确保水库工程安全的前提下，水库在理论上能否采取有效安全的预报预泄调度，如何利用水库洪水预报进行有效安全的预报预泄调度，制定水
铁路大件运输已成为制约电网工程建设的瓶颈因素,不仅直接影响电网工程建设工期,而且增加了电网工程造价。基于这一现状,文章从法律、经济、技术等方面论述了组建＂国网中铁（北
微信小程序开发环境和开发者生态已成熟,各种小程序深受用户喜爱。为满足微信使用者对于音乐播放器操作简单、不占内容的需求,提出一款基于微信小程序的音乐播放器的完整开发
aiBuy商城是一个基于J2EE的综合性B2C电商平台,用户可以在商城内浏览和购买商品。aiBuy商城采用分布式集群技术,整合SSM框架来实现。使用Nginx作为图片服务器、搭建Solr集群
目的探究并分析老年慢性阻塞性肺疾病合并肺栓塞患者的临床特征及其危险因素。方法将2019年5月—2020年4月在该院接受诊治的82例老年慢性阻塞性肺疾病且临床疑诊并发肺栓塞患
美国科学家不久前研制成功一种抗胆固醇新药，可降低患者体内１／３的胆固醇。该药同胆汁酸凝结在一起，通过消化系统将其排出体外。其临床疗效令人满意，而且无任何副作用胆固醇凝胶属新