基于中心节点架构的大规模数据对象存储系统

来源 :清华大学 | 被引量 : 0次 | 上传用户:djdyaqb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随海量数据的到来,大数据逐渐进入人们视野,大数据多样化,规模大的特点,使得对象存储技术快速普及,正成为一种新的存储方式。对象存储为最终用户提供了统一的存储空间,每一个对象有唯一的访问标识,该标识在对象创建时产生,对象存储为用户提供了对象上载PUT和用户下载GET两类基本操作为,由于其简单并易于使用,被广泛采用。目前基于中心节点架构的大对象存储系统,如GFS、HDFS,随着对象规模的膨胀,其元数据规模也随之线性增长;单一物理存储块配置,无法有效支持小对象的存储。基于中心节点架构的小对象存储系统,如Haystack,仅支持小对象存储,并且不能支持多副本并发。针对该问题,本文设计并实现了对象存储系统LaUDObject,能够在感知用户的基础上,在有效支持大对象存储的同时,还能够高效支持小对象存储。论文主要工作包括:(1)为了克服主节点上对象副本位置表规模膨胀,通过将多个对象成组,并将成组对象副本统一连续存储在某个节点上,在主节点中建立对象组副本位置表,从而有效减少了副本位置表的规模。对象标识的中间32位数值,对应其对象组编号,对象标识的后32位数值表示该对象在组内的序号。(2)实现了支持小对象的并发更新操作的多副本顺序一致性策略,能够有效提高客户端对象更新效率。(3)通过将组内的小对象合并成为一个大文件,并在外部建立索引的方式,实现了只需要一次磁盘访问即可完成读取操作,提升了小对象的访问速度。(4)通过在感知用户标识,将对象组与用户建立关系,系统能够将同一用户的数据进行聚集存储,可以提高系统整体访问效率。面向大文件/小文件存储的多个应用场景,对LaUDObject、Hadoop和Cassandra进行了性能比较试验,初步验证了本文工作的有效性。
其他文献
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
目前单一的定位技术无法满足定位过程中越来越高的性能要求,针对这一局限性,提出一种基于多源数据融合的室内定位模型。针对ZigBee定位技术和RFID定位技术,该模型从硬件方面将ZigBee模块与RFID模块进行集成,对采集到的不同类型的数据通过粒子滤波算法进行过滤,从而将不同定位数据结合使用,进一步将不同定位技术的优势结合起来。为了增加定位精准度,在三边定位的基础上提出一种新的定位算法,根据观测节点
本文对超超临界直流锅炉水动力特性进行了分析,通过广东河源电厂1号机组吹灰器故障造成水冷壁金属管壁超温过程进行事故分析,得出超超临界锅炉水冷壁受热面超温的基本原因和
随着外语学习重心由词汇、语法向实用交际能力的转移,听力理解能力日益受到外语教学界的重视.有关外语教师及语言学界的研究者就听力教学也展开了各种讨论与研究,并取得了一
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
炼油企业余热锅炉补燃系统电气控制回路设计存在的缺陷,引起一次装置停车事故,只因余热锅炉补燃系统电气控制一开一备两台风机联锁不可靠,在事故状态下不能保证备用电动机起
营业税改增值税对于我国税制的改革来说具有非常重要的意义,从2016年5月1日起,营改增开始在金融保险业、建筑安装业、生活服务业、房地产业这些行业全面推行,这标志着营业税
<正>2017年1月,中国交通建设股份有限公司(以下简称"中国交建")成功收购了巴西Concremat公司80%的股权。Concremat是家族企业,成立于1952年,经过60多年的发展,如今已经成为巴
数字图书馆流量预测是数字图书馆管理的基础,直接影响数字图书馆管理效率。当前数字图书馆流量预测算法存在预测精度低、时间长等局限性,为了提高数字图书馆流量预测结果,提