【摘 要】
：
本文基于Hadoop平台设计了一个实时数据处理系统,通过对主流实时计算框架的研究,解决了Spark,puma没能解决的数据源主动接入问题.本系统设计主要包括核心计算模块设计、数据
【基金项目】
：
2018年安徽省自然科学研究重点项目“多维社交网络结构影响下的信息传播研究”(KJ2018A0448);安徽省高校优秀中青年骨干人才国内外访学研修重点项目(GXFXZD2016263);新一代信息技术产业人才的创新创业能力培养研究(编号:2017xgkxm48);省级智慧课堂试点项目:软件工程智慧课堂试点(2017zhkt477)
论文部分内容阅读
本文基于Hadoop平台设计了一个实时数据处理系统,通过对主流实时计算框架的研究,解决了Spark,puma没能解决的数据源主动接入问题.本系统设计主要包括核心计算模块设计、数据接入模块设计和存储模块设计.主要用到的算法包括可靠性机制算法、信号量机制算法、事务性机制算法等.实践结果表明,系统处理效率高且运行稳定.
其他文献
基础不牢、地动山摇。今年以来,衢州市柯城区从“强基础、强机制、强督考”出发,在总结和巩固G20峰会维稳安保经验的基础上,建立健全基层社会治理党建+大联动、包案化解、百
随着经济全球一体化的发展,商务英语在农产品外贸企业发展中发挥了很大作用。从基本功、商务文化、技能等方面入手,提出了完善培养体系、健全培训机制、开展拓展教育、建立终
当前劳动争议呈现出以下一些主要特点，一是案件数量逐年上升。成都市锦江区近年案件数量递增态势非常明显，2007年处理劳动争议案件57件，2008年处理案件146件，2009年处理案件415件
本文简单介绍了发动机冷却系统在发动机运转过程中的作用,归纳了发动机冷却系统经常出现的各种故障,详细阐述了产生这些故障的原因,并针对这些问题提出了发动机冷却系统维护
阐述原有氯气干燥工艺存在的问题，配合烧碱产能由100kt／a扩产至140kt／a，充分利用原有氯气冷却净化设备·将原氯气干燥用单台泡沫塔更改成填料一泡罩，填料两塔串联流程，将将干燥
【目的】分离发病兔场皮肤真菌病的病原,并对其ITS序列进行分析鉴定。【方法】采集病兔患病部位的皮屑、结痂进行培养,并根据形态学的特点进行鉴定;然后采用真菌ITS区通用引
一、概述由于老年人有其自身的特点,容易发生药物性肝病.如老年人肝脏本身的重量、血流量、肝药酶活性等均随增龄降低,影响了药物在肝脏的浓度、转化和代谢;又如肝外因素,老
<正> 植木枝盛(1857—1892),是日本自由民权运动的著名思想家和改革家,他反抗明治初期藩阀专制统治的战斗思想,在日本法西斯统治的年代里,曾经被埋没了许多年,直到二次大战后
11月20日上午,广东省首个水上交通违法行为行政处罚精细化管理示范点在东莞麻涌海事处揭牌,这是广东海事严查严惩水上交通违法行为,保障人民群众安全出行,推进粤港澳大湾区水
本文通过文献资料法、问卷调查法、数理统计法、访谈法,对莱芜市社区群众体育健身项目、健身环境、影响因素等方面的内容进行调查分析,指出了目前社区群众体育发展过程中存在