大数据分析系统部署管理平台的设计与开发

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:HuSiYou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据分析技术现在已广泛应用于整个商业生态之中,但是数据从业者在进行大数据分析之前,往往花费大量时间用于部署各类软硬件和构建工作环境。本文希望帮助数据科学家快速搭建相关工作环境,帮助数据科学家管理数据集和应用集,使他们能够在平台上分享这些工作环境、数据集或应用集。为了实现上述目标,本文设计并实现了大数据分析系统部署管理平台,该平台包含以下功能:1)基于虚拟化技术,完成了工作环境的创建、部署,用于用户快速地创建一套自身的工作环境,此过程为全自动化,用户仅需要选取所需要的工作环境并点击按钮,系统就为其提供已配置完毕的硬件环境。2)基于索引及搜索技术,完成了工作环境、数据集和应用程序的统一搜索,用户能够在搜索的页面中搜索所有自身所需要的资源。当用户基于某个关键字进行搜索时,就能够得到一张由各类资源组成的列表,再根据自身的需要搭建所需要的环境,例如“一个8GB内存4核CPU组成的工作机”,“安装Python”,“导入2015年糖果市场的销售数据”3)基于描述文件即配置的方法,完成了对用户创建自定义类型的应用、环境和数据集的支持。当用户在自身的工作环境中下载或者创建新的对象时,能够通过发布将新对象共享到公共的资源库,使新的对象能够被其他用户搜索和下载。与其它解决方案相比,本文所设计与实现的平台具有以下优势。1)应用虚拟化技术使系统变得更高效、易扩展:它能够将硬件资源进行自由的平衡,动态调配硬件资源至高负载的任务;当用户希望扩展自身的硬件时,仅需购买新的硬件系统并集成至原服务器集群中,新硬件的增加不会造成对已有数据的影响。2)应用索引技术提高了系统的易用性:相关对象能够被快速地搜索到。现有的解决方案中用户必须先知道自身需要什么,再向IT部门提出需求以帮助他们得到他们所要的资源,索引技术能够帮助他们通过关键字搜索到他们所需要的资源。3)支持用户自定义:能够帮助用户创建属于自身工作区的产出物。在本平台的设计与实现过程中主要就索引技术的应用及描述性文件的制作方法进行了研究。在索引技术应用过程中,本文首先对市场中几种开源和付费产品进行了原理学习、代码分析和功能对比,选取了比较适合本平台应用场景的产品,再对所选取的产品进行配置和二次开发使其满足了本平台的需要。在描述性文件的制作研究过程中,本文分析了用户对于资源的需求,将所有用户需要的资源都抽象为对象,同时使用描述文件表示这些对象。所有描述信息能够被搜索的,结合索引技术能够使所有硬件资源都变成为可搜索、可操作的对象。目前本平台的第一个版本已开发完毕,通过了测试,并且已交付给销售部门进行推销。。根据销售部门的反馈,用户的反响良好,总体而言,本平台帮助用户减少了约80%的部署时间和60%的部署成本,同时使用户从部署的问题中脱身,使他们能够更多地关注在他们的分析工作上。同时销售部门收集到很多来自用户提出的新的需求,今后将基于用户的新的需求,对系统进行进一步地改进。
其他文献
长江中游洲滩众多,历来演变复杂,使得航道疏浚养护问题日渐突出。尤其是在三峡工程蓄水完成后,长江中游地区水沙条件发生改变,导致洲滩变形、岸线崩塌,对通航带来了严重的影
在新形式下,经济社会深刻变革。在整个社会倡导"大众创新、万众创业"的背景之下,对高校的大学生创新创业提出新的要求。本文通过研究大学生创新创业中的激励机制问题,借鉴管
目的:观察曲安奈德治疗口腔扁平苔藓(OLP)的疗效。方法:将72例符合纳入标准的OLP患者随机分为2组。对照组32例口服泼尼松片治疗,治疗组40例采用局部注射曲安奈德注射液治疗,观察2
结合企业知识管理的相关内容,论述了企业协同知识管理研究所应采纳的系统科学观点,尤其是协同学理论观,以及企业协同知识管理应用所应遵循的系统工程方法论,包括企业知识管理
随着我国经济和科技的高速发展,专利权刑法保护问题引起越来越多人的注意。本文立足于我国的实际情况,参照国外专利权刑法保护制度的相关规定,对我国的专利权刑法保护问题进
随着计算机网络的迅速发展,网络的安全性日益被人们所重视,人们越来越多的开始研究网络安全的理论和方法。搭建一个网络攻防平台以供人们实践或检验他们的相关理论和方法是非常
香鳞毛蕨Dryopteris fragrans(L.) schott是鳞毛蕨科鳞毛蕨属植物,落叶多年生草本,生于高寒地区的滑石坡、森林中的碎石坡上和火山周围的岩浆缝隙中。主要分布于黑龙江省五大
数控技术和数控装备是制造业现代化的重要基础,直接影响到一个国家的经济发展和综合国力,关系到一个国家的战略地位。传统的数控系统大多采取封闭式设计,由此导致的系统间的
便秘,是指排便次数减少,每2 d~3 d或更长时间1次,无规律性,便质干燥,排便困难,常伴有头痛、乏力、食欲不振、腹痛、腹胀、消化不良等。便秘是骨科卧床患者最常见的并发症之一
目的:目前肩关节周围炎的治疗多以非甾体类抗炎药、免疫抑制剂、激素等药物治疗为主。由于口服药物存在较多的副作用,在一定程度上限制了使用和该病的治疗效果。观察红外线配合