【摘 要】
：
为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C＋＋访问接口的数据完全本地化分析平台,并设计MapReduce
【机 构】
：
中国科学院高能物理研究所,中国科学院大学
【基金项目】
：
国家自然科学基金资助项目（11375223,11375221）,国家自然科学基金委员会-中国科学院大科学装置科学研究联合基金资助项目（11179020）
论文部分内容阅读
为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C＋＋访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率。通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作。测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数据分析速度更快,可扩展性更好。
其他文献
本文针对函数方程f(x+T)f(x) =af(x+T)+bf(x)+c分别获得f(x)是周期为2T、3T、4T函数的充分条件,推广了已有结论。
印度Navgathi船厂建造的一艘结构紧凑的4客位太阳能船艇下水。据悉，该结构坚固的船艇为世界上提供的该类船型中最小的。该太阳能船艇有Sx和QX两种型号，均采用FRP（2层rCSM450垫子
Vertical distributions of phytoplankton biomass,compositions and size structure were investigated during the spring-intermonsoon (April 22 to 30) of 2010 along
天线辐射特性是无线传感网中的重要参数,但由于其受众多因素影响,同时辐射特性测量是专业、昂贵且费时的过程,因此该参数常被简化或忽视。针对该问题,设计面向无线传感网的天线自动测量系统和数据处理程序,用于实现天线辐射特性的快速测量和数据处理。在此基础上对无线传感网中14种典型天线在不同平面上的辐射特性,以及金属平板对天线方向性图的影响进行测量分析和讨论,总结各天线特点及目标应用场景。上述研究可为针对不同
介绍了小孢子/花药离体培养系统的特点以及应用于作物遗传改良的优点;回顾了研究室已有的单倍体细胞工程及育种的一些进展;对小孢子/花药离体培养系统在作物定向遗传改良应用
Three mesocosm experiments were conducted in the East China Sea during blooms of Prorocentrum donghaiense Lu in May of 1998,2002 and 2003 to examine the role of
Objective: To investigate the anti-colon cancer effects of ethylacetate fraction from Orostachys japonicus（0. japonicus） on HT-29 cancer cells. Methods: The viabi
现有虚拟网络映射算法的节点映射和链路映射间关联性较差,且链路映射路径较长,导致算法请求接受率和收益开销比均较低。为此,提出一种基于邻接节点与拓扑结构感知的虚拟网络
由中国船舶重工集团公司所属第702研究所为龙源电力集团股份有限公司设计、建造的首艘专业运行维护船——“龙源运维1”号下水，并进行了航行试验。
我国难选铁矿流态化磁化焙烧成套技术取得突破。低品位难选铁矿石资源利用，对打破国外垄断、缓解我国铁矿石供应紧张的意义十分重大。磁化焙烧是低品位难选铁矿利用的有效方法