Antnest:一种支持多计算模型的分布式计算系统

被引量 : 0次 | 上传用户:reefstone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机和互联网的发展,信息量的增长已经达到了一个前所未有的速度,海量数据的日益累积,使人们迎来了―大数据‖的时代。如何正确且高效地从这些数据中分析出有用信息并做出处理成为了一项极具挑战性的工作。面对这一问题,人们往往考虑采用分布式计算进行处理。然而对于大多数信息企业来说,往往存在着许多种不同需求的业务,这些业务所适用的分布式计算平台不尽相同,这就导致了企业分布式计算平台种类的繁多,学习和维护这些平台往往需要很高的成本,这给新型互联网企业带来了巨大的经济压力。因此,设计一个支持多计算模型的分布式计算系统成为了各企业的迫切需求。Antnest将企业的各种基本业务需求抽象成三种不同的计算模型,通过对比这些计算模型的特点,对它们的可等价性进行了分析,并提出了一种统一计算模型的方案,主要包括数据源的统一以及计算处理的统一。Antnest综合了批处理分布式计算、流式分布式计算、任务自动调度框架等三种平台的特点,对企业中最基本的三种业务——大规模静态数据处理业务、线上实时业务、后台定时业务提供了很好的支持,从而减少了企业因使用和维护多种平台所造成的开销。Antnest为用户提供了一个统一的任务创建模式,用户根据自己的实际业务需求采用相同的规则定义数据源及计算单元配置文件,并在对应的任务接口中实现计算单元的处理逻辑,接着便能将任务上传到该平台中执行。Antnest屏蔽了不同任务计算模型之间的差异。另外,底层的一些实现机制,如消息通信、心跳检测、容错、任务的划分及调度等,对于用户而言是完全透明的。经测试表明,Antnest能很好的支持不同计算模型任务,正确执行任务的各种基本操作,同时还对不同的数据库提供了支持。
其他文献
环境法本体论范畴是对环境法的存在及其本质的认识和概括,回答"环境法是什么"的问题,反映环境法的内部构成要素和结构形式。环境法学的主要本体论范畴包括:环境法、环境法规
目的对比分析应用不同剂型的硝苯地平对老年高血压患者进行治疗对其用药依从性的影响。方法将90例老年高血压患者随机分为两组,为对照组患者应用硝苯地平片进行治疗,为实验组
一、问题的提出苏科版《物理》八年级(上)教材第二章第三节《熔化和凝固》在引入熔化和凝固两个概念后,通过让学生完成“冰的熔化”实验探究总结出晶体的熔化特点。利用冰来
为解决目前缺少高效率、高安全系数的打捞设备而给水面垃圾打捞带来的问题,设计一款水面垃圾清理机器人模型。该模型融入无线遥控、单片机控制、电机伺服控制及脉宽调制(pulse
电动汽车是节能、环保的交通工具。性能优势和丰富的永磁材料储量,使永磁同步电机成为我国电动汽车驱动电机的主要应用方向。与工业调速系统和位置伺服系统不同,电动汽车的电
城市居住区儿童受其年龄的限制,活动的半径小,活动的范围较为固定。居住区中的户外活动空间是儿童易到达、活动最频繁的空间。现今居住区中专门针对儿童的用地空间较少,即使设立
目的:建立测定阿立哌唑原料药中的有机溶剂N,N-二甲基甲酰胺(DMF)残留量的方法.方法:采用顶空气相色谱法,DB-624毛细管柱(30m×0.53mm,3μm),载气为氮气,流速20mL·m
目的探讨普通肝素钠持续静滴联合低分子肝素钠治疗急性期脑梗死的临床疗效。方法随机将100例急性脑梗死患者分为抗凝治疗组与常规治疗组,对照组(口服肠溶阿司匹150mg/d,应用血
<正> EDTA溶液滴定Ca2+、Mg2+是一个比较成熟而又方便的分析方法,国内、外均广为应用。一般对其为什么要求在pH为10左右的溶液中进行滴定,只说明是以实验为依据的。今试从理
期刊
红外辐射材料在隔热涂料、医疗保健、红外加热等领域被广泛应用,它的研究和开发利用,对推动节能、加强环保、改善医疗等有重要意义。在多种红外辐射材料中,堇青石以其价格低廉、