面向异构计算的大数据智能分析平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:editorzhou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文设计并实现了一个面向异构计算的大数据智能分析平台,该平台调度CPU和GPU两种计算资源,提供大数据和深度学习的一站式分析服务。平台使用了分布式计算引擎、分布式文件系统、分布式资源调度器、虚拟化容器等基础技术,核心是本文自研的DeepMaster调度模块,该模块支持多框架的单卡训练和TensorFlow分布式训练,能够有效管理训练任务、减轻用户负担。通过对任务流建模,本文从理论上论证了平台统一调度能带来更高的资源利用率,并且设计实验证实了这一结论。经过实验验证,异构计算平台在单卡训练和分布式训练两种场景下都没有引入额外的性能开销。本文为异构计算平台开发了友好的任务提交接口,无论是单卡训练任务还是分布式训练任务,都能直接迁移到异构计算平台上运行,迁移成本仅取决于用户使用的框架本身的单卡训练和分布式训练接口的异同。异构平台同时具备实时流式的日志查看接口,以及指标齐全的图形化资源监控接口。本文还为异构计算平台设计了兼顾性能和虚拟化的云迁移方案以及基于云计算的快速编排与动态缩扩容方案。考虑异构计算平台在实际使用中专用算力紧张而通用算力闲置的情况,本文将Analytics-Zoo框架集成到异构计算平台上作为备用分析流水线。通过该框架与tensorflow.keras在使用和性能上的比较,可知它具有易于使用的API并且充分发挥了 CPU的计算能力,具有很强的实用意义。
其他文献
近年来,越来越多的人加入股票投资行列,股票预测问题获得了广泛的关注和研究。影响股市波动的因素很多,包括股票的历史交易数据、新闻的舆论影响等等,这导致了股票预测问题难以解决,使之成为金融界与计算机界的重大挑战。面对股票预测问题,传统的研究方法常常着眼于历史股票交易信息,基于时间序列建模。这样的方法依赖于指标选择,并且缺乏全面描述股票波动的能力。针对上述问题,本文基于神经网络展开研究,对多种数据源包括
湿地是陆地系统和水域系统之间的过渡性地带,有着丰富的物种多样性,而城市湿地公园是维持城市生态系统生物多样性的重要生态功能区域。当前我国城市化建设快速发展的同时,已经对区域乃至全国鸟类资源和生物多样性造成显著影响,因此城市湿地公园的在城市规划建设中兼顾市民游憩娱乐功能的同时,对城市区域鸟类资源的保护亦具有重要意义。长春北湖国家湿度公园是长春大型功能复合型湿地公园,属国家4A级景区,作者从2018年9
土壤pH是土壤的重要属性之一,它不仅影响土壤肥力、结构、有机质的分解等,还会影响土壤养分的状态、转化和有效性。因此,研究土壤pH对土壤的合理利用、改良和管理至关重要。土壤pH不仅与土壤中的化学元素有关,而且与土壤中的有机酸有着不可分割的联系。因此,本研究采用激光诱导击穿光谱(LaserInduced Breakdown Spectroscopy,LIBS)技术、中红外光谱(Mid-infrared
战略是主体基于客观现实,对全局和未来进行的长远谋划。准确判断历史方位,认清时代的内涵和使命,及时制定和部署与时代发展相适应的国家战略历来是中国革命、建设、改革和发展的成功之要。中国共产党在无产阶级战略思想的指导下,准确把握现实,制定与国情、世情、党情相符的国家战略,带领着全体中国人民取得新民主主义革命的胜利,实现民族独立;取得社会主义革命的胜利,建立起社会主义制度;1978年,做出改革开放的伟大战
锂离子电池具有循环寿命长、能量密度高、绿色环保等优点,在便携式智能设备电源领域备受青睐。随着近年来智能设备逐步向轻量化、多功能化的方向发展,理论容量仅为372 mAh/g的商业化石墨负极很难满足人们不断增长的储能需求。日益严重的“电量焦虑症”推动研究者开发高容量负极材料。金属有机骨架(MOF)作为一种新型配位聚合物,其衍生纳米碳基复合材料具有高容量和大比表面积,在储能领域有着广泛的应用。但首圈库伦
微波无线传能技术是一种高功率、远距离的无线能量传输技术,其应用场景广泛,能为不同应用环境下的电子设备实现源源不断的无线式能源供应。微波无线传能系统的发射天线部分一般采用有源相控阵天线,现有的为了获得高波束收集效率而进行的阵列天线设计方法,忽略了其对接收天线部分整流效率的提高带来的设计和工程制造难度,且现有研究少有针对动目标微波无线传能进行的,对动目标进行能量传输时随机误差对于其效率的影响关系也值得
丹参(Salvia miltiorrhiza Bunge)属于双子叶植物唇形科鼠尾草属,又称红根、大红袍等。《神农本草经》、《本草纲目》等记载具有活血化瘀、调经等功效,此外对神经性衰弱失眠、冠心病、关节痛等也有疗效。丹参的有效药用成分有亲水性的酚酸类物质和亲脂性的丹参酮类物质。近年来,CK2已被广泛研究和显示可以磷酸化300多种已知的底物蛋白,参与多种发展途径,植物蛋白激酶CK2对于植物底物的磷酸
自从20世纪开始,经济全球化的浪潮势不可挡,第三产业逐渐代替第一、第二产业,成为全球经济竞争的关键,在此契机下,服务业得到了快速发展。就国内来看,服务业是国民经济的重要组成部分,也是衡量现代社会经济发展的重要依据。我国东南沿海地区有着得天独厚的经济基础,服务业发展方兴未艾。而黑龙江省作为我国边境地区,更是我国的重要粮仓,在服务业发展方面还有很长的路要走,如何平衡南北地区服务业的差异,以东南沿海地区
随着我国铁路行业的飞速发展,大功率电力电子设备被广泛应用于各系列动车组,而大量的信号设备与电缆都集中在车底,导致车内外电磁环境日趋复杂。鉴于牵引变流系统是动车组主要低频电磁骚扰源之一,为了研究高速列车车底的低频电磁特性,本文以CRH2型动车组的牵引变流器系统为主要研究对象,建立了牵引变流器和牵引电动机的内部模型,并仿真分析了输出电流谐波。在此基础上,研究了牵引系统输出电流引起的动车组车底低频磁场的
煤炭浮选过程中脉石矿物的夹带污染是影响精煤质量的主要原因。如何减少脉石夹带,降低精煤灰分一直是浮选领域的研究热点。本文采用聚氧化乙烯作为絮凝剂,通过探索不同剪切速率及流场分布下煤炭和石英的絮凝规律,寻找选择性絮凝石英的最佳流场条件,同时在选定的流场条件下进行浮选试验,验证絮凝规律。主要研究结论如下:煤炭和石英单独絮凝,絮团形成过程中随着剪切速率的提高煤炭中大于30μm,石英中大于10μm的颗粒所占