并行数据处理中间件体系结构的研究和应用

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:yolanda0104
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据库技术及网络技术的发展,信息量越来越庞大,从数据库管理系统的应用而言,数据量达到TB乃至PB级,即使运行在高性能的大型主机上,在处理大量并发用户及大量数据时,也难以满足应用对CPU和I/O的性能要求。因此,采用并行技术拓展数据处理应用成为一种迫切的需要。为了解决海量数据和异构数据的管理和计算问题,人们提出了数据处理中间件的概念,利用中间件使相关的数据库协同工作,实现互操作。并行数据处理中间件系统的开发,能够以较小的代价实现数据库并行操作,执行简单、结构灵活。本课题主要研究并行数据处理中间件系统的体系结构及主要涉及的工作部件。本文利用现有PC机、成熟的网络技术和数据库群集技术,研究了并行数据处理中间件的层次结构、硬件结构、接口通信技术、功能结构及各功能所涉及的关键技术。涉及内容包括:基于SN结构的群集管理系统模型,系统组件模型,群集工作状态模型;对中间件系统的元数据进行分析,研究并设计了中间件系统元数据的管理;查询执行控制系统的工作原理及结果综合过程;提出了采用数据放置和缓存系统提高系统性能的思想,包括数据放置的主要方法和策略;缓存系统的内容、组织及管理。根据实际应用环境,实现了并行数据处理中间件系统建立模块和运行模块的功能。对所研究及设计的系统进行了系统实验和现场测试,根据结果对并行数据处理中间件系统的性能进行了评价。目前,该并行数据处理中间件系统,已经在大型应用工程中得到实际应用。并行数据处理中间件系统的研究和实现,为用户提供了统一的服务接口和管理平台,提高了系统的性能,增强了系统的可用性和可维护性,保护了用户的已有投资。
其他文献
随着计算机及Internet的发展,远程教育越来越受到人们的青睐。作为远程教育平台中不可缺少的组成部分,答疑系统对提高教学质量起着至关重要的作用。智能答疑系统是当前自然语言
随着着高校信息化建设的快速发展,跨部门应用集成与独立异构系统之间的矛盾日益突出,建立一个能够集成现有异构应用系统且灵活兼容新系统的数字化校园服务集成平台的需求越来
多智能体系统(Multi-Agent System,MAS)体系结构及协作机制是多智能体理论研究的核心与热点问题,作为一种新兴的研究方法,基于协进化机制的多智能体协作具有广阔的研究前景。论
说话人识别技术作为生物认证技术的一种,是根据语音波形中反映说话人生理和行为特征的语音参数自动鉴别说话人身份的一项技术。说话人识别技术以其独特的方便性、经济性和准确
近年来,流媒体正在成为推动未来宽带应用的主动力。而流媒体典型应用中的流媒体直播技术凭借其不用下载等待,实时性好等特点,在VOD、远程教学等网络多媒体中得到广泛应用。流媒
过去半个多世纪中,博弈论作为探索个体间相互作用的有效工具,在多个领域均有广泛的应用。在2012年学者基于囚徒困境模型研究发现,存在一种称为零行列式的策略可以单方面控制
中国电信集团公司作为国内最大的基础电信运营商率先提出了由传统基础电信运营商向现代综合服务提供商的转型战略。内蒙古电信公司作为中国电信集团公司在内蒙古地区的分支机
随着计算机技术和网络的飞速发展,流媒体技术的产生满足了人们快速获取多媒体信息的需求。它基于RTP/RTCP协议,运用流式传输技术,可以使人们在最短的时间内获得想要的多媒体资讯
传统的特征选择算法直接在有类别标签数据集上进行特征选择,以选取对这些已知类别标签样本的类别具有最大区分能力的特征子集。但是在一些实际应用中,如在医学诊断、欺诈检测等
TinyOS是一个经典的无线传感网络(WSN)操作系统,在WSN发展历程中发挥了非常重要的作用。当前,许多有关无线传感网络的研究成果都是在TinyOS上研究并实现的。SenspireOS是浙江