基于工作流的科学大数据查询处理技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:shizelinli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着科学技术的快速发展,科学实验仪器和科学观测仪器的精度不断得到提高,领域科学家得到的可以用于科学分析的数据,其规模是不断变大;同时,由于科学分析的深度的不断推进,科学分析计算的规模也在不断的变大。如何提高领域学者进行科学大数据查询的效率是一个非常有研究意义的工作。本文构建了一个轻量级的云平台,并在其上搭建了一个可以用于科学数据查询和管理的SciDB集群。在此基础上,本文的主要研究内容包括:(1)科学大数据的存储和管理技术。针对目前国内外科学大数据查询处理的研究现状,本论文通过研究MapReduce框架,以及现有的科学数据库系统,提出使用SciDB作为科学大数据存储和管理的工具。(2)科学数据库数据加载技术。SciDB的数据加载响应时间随着数据量的增加急剧增长,针对这一情况,本论文提出了一种新型的数据加载技术。(3)采用工作流的思想,简化复杂查询语句的书写,并设计了一个简单的基于工作流的科学数据查询系统的原型系统。(4)针对基于SciDB的批量工作流的调度问题,在本文中提出了相应的优化算法以及进行了一系列的性能评估实验。
其他文献
多视点视频(Multi-view Video)是能够提供立体感和交互操作功能的新型视频系统,它能够提供场景对象在不同观察角度下的视频图像信息,并可根据使用者的需求自由选择和操作视听对象
当今社会是数字信息化时代,各种数字多媒体信息包括文本、图像、声音、视频等等在网络上广泛传播。但是网络上的信息很容易被随意复制及修改,侵权问题日益严重,各种信息的版权保
操作系统的安全对于计算机系统的安全具有举足轻重的作用。而在操作系统的诸多子系统中,审计系统又为最后一道安全防线。现有的审计系统主要可以分为两类:操作系统自带的以及
面向服务架构(SOA)的兴起为企业应用集成指明了新的发展方向,而企业服务总线(ESB)作为面向服务架构的最佳实现方式提供了服务集成的主要功能,如消息路由和数据格式转换等。服务路由
随着嵌入式系统软硬件技术不断的发展,它们的影响已经深入到社会的许多方面,也使得工业控制系统的结构发生了很大的变化。新的硬件平台和通信技术在变电站系统中应用,使得变电站自动化系统也得到了快速的发展。本论文主要就变电站自动化系统中保护监控平台的通信和设计等问题展开研究和探讨。本文首先回顾了变电站自动化技术的发展历程,论述了当前变电站自动化的现状及存在的问题,说明了新的硬件平台和快速以太网应用到变电站保
根据逆问题理论,本文利用旋转X射线造影数据进行基于运动补偿的三维冠状动脉重建算法研究。首先,本文对逆变换问题在有限维与无限维下的情况分别予以讨论。对于无限维情况,我们
警觉度是指人集中精力对刺激保持警惕并且维持一段时间的能力。在日常生活中,有时候我们需要维持一定的警觉度。譬如,驾车时我们就必须时刻保持清醒状态。所以,我们需要一种能够
随着控制系统应用领域的日益扩大,网络控制系统的研究越来越受到人们的广泛关注。网络控制系统的特点是参考输入、对象输出和控制输入等信息在控制系统各部件间(传感器、控制
随着一些新的控制器,如以ARM系列控制器为代表的RISC控制器的出现,使得DCS控制系统的架构设计有了更多的选择,新架构的DCS控制系统具有更高的稳定性和更高的性价比。 本文首
数据挖掘技术可以从大量数据中发现潜在的、有价值的知识。随着数据挖掘技术的迅速发展,聚类分析和孤立点检测技术已经广泛应用于模式识别、数据分析、图像处理、市场研究等