面向海量信息处理领域的数据网格及其关键技术研究

被引量 : 2次 | 上传用户:lhawk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,越来越多的信息在丰富人们的思想、扩大人们视野的同时,也为计算机进行海量信息处理带来了众多难题,其主要表现在以下几个方面:存在着大量的、异构的数据源,而且格式各异;同时这些信息又缺乏一个统一的规范化的描述方法;再者由于信息的更新速度非常快,因此还需要解决数据修改和同步的问题;此外还需要解决信息的易用性问题。本文针对以上海量信息处理过程中出现的困难和问题,提出了面向海量信息处理的数据网格MIPDG(Data Grid for Mass Information Process)。作为一种新型的数据管理和利用的体系架构,MIPDG提出了一种新的海量信息处理中心的数据网格建设模式,并通过为多种数据格式提供标准化的描述方式,以实现相关数据的自动关联、自动映射;通过对各类数据源提供副本创建策略、副本一致性算法和数据传输算法等,有效地解决信息资源的一致性共享问题,实现高速可靠的数据访问;通过对海量信息处理业务提供平台级和应用级的访问支持,从而极大地降低海量信息处理应用开发和使用的复杂性,为最终实现信息的全面共享和综合利用提供了一个高性能、大容量、广域覆盖的数据共享平台。本文以高性能、易用性和可扩展性为依据,对面向海量信息处理的数据网格的体系结构及若干关键技术做了详细研究和探讨,主要工作和贡献如下:1)结合海量信息处理需求的特点,设计了若干个由高速网络互联形成的分布式海量信息处理中心节点,建立了数据中心的数据网格建设模式,实现了对多数据源的稳定可靠访问,克服了由于数据源本身在存储容量、网络带宽以及可用性等方面差异所导致的访问瓶颈问题,为海量信息处理应用可扩展、可维护、易用性等目标提供了保障。2)基于面向对象的设计方法,给出了一种层次型的海量信息处理元数据结构定义,实现了灵活的数据映射机制。并根据这种元数据目录管理的方式,设计了一种基于服务的数据映射五层模型,实现了对海量数据透明、可扩展和开放的映射管理,为不同存储方式、不同格式类型的多种数据源提供了统一便捷的数据访问模式。3)根据海量信息处理业务流程的特点,给出了DRFT数据传输策略,建立了一种无监督的数据传输调度模型,提出了三种数据传输作业调度策略,并进一步对最优适合策略进行优化,优化算法不仅能够充分利用有效的传输带宽,而且还具有比较稳定的传输速率。4)针对副本管理机制的研究,提出了基于聚类的动态副本创建策略、基于活跃度的多阶段副本一致性算法。这两种算法克服了由于网络带宽有限、地理位置分散所带来的数据访问效率低等困难,有效地减少了平均作业执行时间,提高了网格资源的利用率以及网格环境的性能和可扩展性,并保证网格系统的正确运行。研究成果已在实验环境中得到测试,不仅验证了整个网格系统的可行性,还验证了对于一个具备论文提出的各项策略的网格系统,其数据访问性能能够得到明显的改善,为论文提出的各种技术的推广应用提供了有益的参考。
其他文献
要实现生产能力的扩大和实际产量的增加主要有两条路径,一是通过扩大生产要素的投入量,二是提高生产要素的使用效率,前者被称为是粗放式发展,后者被称为是集约式发展。全要素
水危机逐渐成为全球性的问题,而应对的出发点已不再是寻找新的水源扩大水资源供给,而是对现有水资源更加合理的利用。通过水权交易机制使水资源从水资源供应链的低效环节流向
日前,埃克森美孚和巴斯夫公司宣布,其正在埃克森美孚子公司帝国石油公司位于加拿大安大略省萨尼亚的炼油厂进行气体处理溶剂的商业化验证。据称,与其他选择性溶剂相比,该溶剂
快速的城市化发展使得城市下垫面条件发生巨大的改变,海绵城市的提出为解决城市内涝、缺水、径流污染等水问题提供了有效途径。建设适合城区的雨洪利用与管理措施对满足日益
纳米粒子的制备已成为当今的研究热点 ,而α 氧化铁纳米粒子由于其独特的性能与广泛的应用 ,引起了多方面的关注。分别采用均匀沉淀法和强迫水解法来制备氧化铁纳米粒子 ,用X
学前儿童舞蹈教育是素质教育的重要内容,在促进学前儿童身心健康发展、提升学前儿童艺术感受力与表现力等方面具有重要的作用。学前儿童舞蹈教育必须遵循教育的价值取向,坚持
在工业化和城市化进程中,工业、矿业和城市废弃物的产量巨大,不仅污染环境,而且挤占城市的发展空间,如果能将这些废弃物用于建筑和环境营建,将为城市提供了一条切实可行的可
投资银行在社会经济的发展中起到了越来越重要的作用。本文概括了投资银行的基本概念,结合我国投资银行发展的现在,分析了我国投资银行与国外投资银行的差距,并对我国投资银
本文对多媒体技术在对外汉字教学中的应用研究进行综述,从介绍多媒体汉字教学软件、论证对外汉字教学中多媒体技术的可行性及积极意义、探讨反思多媒体技术的应用原
会议