【摘 要】
：
为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进
【机 构】
：
北华航天工业学院计算机与遥感信息技术学院
【基金项目】
：
河北省教育厅青年基金项目（QN2015113）, 河北省廊坊市科技局项目（2016011065）, 院级教研项目（JY-2015-016）
论文部分内容阅读
为了对海量电子日志数据进行有效处理,提出一种基于HIVE和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和HIVE数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明：与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。
其他文献
本文探讨了褪色剂对棉/再生纤维素纤维混纺产品定量分析的影响。用保险粉和次氯酸钠两种褪色剂对棉/粘胶、棉/莫代尔和棉/莱赛尔3种经还原染料或活性染料染色的深色混纺牛仔
根据全球商业信息公司纺织情报期刊《纺织展望国际》报告,几家创新的初创公司最近在开发纺织和服装废料中的纤维素纤维方面取得了巨大的进展,其中回收的一些纤维素纤维有望在
分析了当前机载任务系统装备产品的研制生产特征,引申到大型军事电子信息装备产品,提出了总体单位产品工艺工作的内容和方法,论述了必要性和重要性,最后阐明了围绕产品,工艺
针对丝光绵羊毛因为受到多种化学试剂处理,表面鳞片在酸性环境中长时间试验,容易受损影响测试结果的问题,本文结合前期试验探索,选择浓盐酸法进行丝光绵羊毛/桑蚕丝混纺纱线
为满足人们的健康防护需求,抗菌、抗病毒功能性纺织品发展欣欣向荣,但不少人将抗菌纺织品和抗病毒纺织品混为一谈。抗菌纺织品和抗病毒纺织品的概念、发展并不相同,其抗菌性
服装是一种消费品,它有着大量的分散供应链。它从纤维选择开始,进入纱线和织物生产,并在服装制造完成后推入市场而结束。在许多情况下,还有其他部门参与完成最终产品,其中包