基于光盘库的分布式存储系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:anglelc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术不断发展产生的海量数据对传统的存储方案提出了挑战,而其具备的少量热数据、大量冷数据特性,使得针对冷数据存储的各种方案被提出,其中广受关注的是基于光存储技术的光盘库。但因单体光盘库的的容量有限,难以承载海量数据存储应用。因此提出一种基于光盘库的分布式存储系统,能够不断添加存储节点自动拓展容量,弥补单机的不足之处。为了实现相关文件存储空间保持局部性的需求,首先提出了一个基于文件路径判断相关性,然后将其分配到合适的节点的方法,这种方法使得相关文件最大限度的放在相近节点。将此方法作为分布式哈希的哈希算法,负责将文件分配到节点中去。之后为了适应存储节点的动态扩充的问题,将节点集合分为可读可写两类,在读取文件时使用可读集合,在写入文件时使用可写集合。同时新节点加入时,使用地址指针来代替真正的文件迁移,适应光盘存储不能够删除数据的特性。最后,为了减少新节点加入时数据重构对文件存取带来的影响,添加了一个历史集合,使得系统能够在添加节点时进行正常的文件读写操作。实验结果表明,系统对于具有相关性的文件能够保证在写入时将其分配到同一节点上,并且分布较为均衡,不易出现大量文件聚集在特定几个节点上的问题。在读写流程中,定位文件位置占用的时间仅在100ms以内,不会成为系统的瓶颈。
其他文献
水声信道复杂且恶劣,具有多径效应严重、带宽有限等特点。正交频分复用技术(Orthogonal Frequency Division Multiplexing,OFDM)凭借其抗多径效应能力强、频谱效率高等特点在水声通信领域获得广泛应用。然而,要在复杂水下环境中实现高速水声OFDM通信面临诸多挑战,尤以接收端精确的信道估计更为突出。因此,本文将致力于水声OFDM通信系统中信道估计的研究。本文从频域和
氧化锌(ZnO)作为一种传统的金属氧化物半导体材料,在发光二极管、光催化剂、光探测器及传感器等领域展现出了巨大的应用潜力。在ZnO多种形态的纳米结构中,一维(1D)结构具有直接用于制造器件的潜力,其独特的形态为载流子的输送提供了高效的平台,对于电子和光电设备来说非常有利。研究ZnO在光的作用下载流子的产生与复合的基本过程是改善和提高器件性能的基础。本文选择水热法制备的ZnO纳米棒阵列膜作为研究对象
马克思主义中国化的民族性体现为马克思主义在中国的本土化进程中被赋予的民族性格,反映了马克思主义在跨文化传播、理论接纳、实践和再阐释的过程中如何拥有民族身份,并被赋予中国特色。从本土化视角出发,马克思主义中国化进程可以理解为认知维度的本土化,包括语词的本土转化和思想的本土表达(话语),及实践维度的本土化,即以马克思主义提出的社会革命目标和共产主义理想为彼岸追求,在实践中形成的具体革命策略和本土经验。
随着无人机平台性能的提高,例如更大的有效载荷能力,更长的飞行时间,更强的空间移动性,以及更完善的电源管理,无人机被越来越多的用于遥感信息采集,交通道路监控,地震灾害救援方面。目前的无人机主要配置全向天线,全向天线各方向统一增益,覆盖范围较大。然而,全向天线由于接收来自各个方向的信号,在接收地面用户上行传输信息的过程中,会受到来自基站的严重干扰。同时无人机因为受体积、重量、功率等因素限制,不适合安装
数据库自动调参是学术界和产业界共同关注的热点。使用深度强化学习可以实现数据库的端到端的参数配置。然而,现有的数据库自动调参系统调整参数过多,且深度强化学习模型训练时间过长,这导致在调参过程中人机交互繁琐,实际应用效果欠佳。如何加快深度强化学习模型训练速度以及有效地减少需要调整的数据库参数,是一项非常有价值的工作。在数据库自动调参系统CDBTune(Cloud Database Tune)的基础上,
随着无线技术的高速发展,用网需求量的日益增加,WIFI网络环境与信息传输场景也越来越复杂,也因此存在不稳定性和随机性高等特点。家庭WIFI网络作为无线WIFI网络的一大应用场景,通信过程中容易出现冲突干扰,信号衰减等多种破坏传输的情况,这些都会导致传输效率低下,出现网络拥塞,丢包以及包损坏等问题。正是因为这些潜在的拥塞情况,我们需要对存在冲突的家庭WIFI网络进行优化。由于我们无法对每一个家庭网络
SOTER数据库是有效利用土壤资源的重要工具,SOTER的广泛应用对促进我国土壤数据库建设的规范化与标准化方面起到了积极地推动作用。本文以湖北省宜都市红花套镇典型丘陵山地区为实验样区,以地理信息系统(GIS)为技术支撑,参考小比例尺SOTER单元的划分标准和规范,建立大比例尺SOTER单元划分标准。1.在数字高程模型(DEM)基础上生成高程图、坡度图、地势强度图及地表切割程度图,参考聚类分析的结果
随着国民经济水平和科技的不断发展,冶金产品需求不断增加。受国际社会疫情、芯片短缺和全球经济复苏等大环境影响,冶金行业面临着前所未有的挑战和机遇,也要面对激烈的市场竞争压力,在种种压力下如何实现安全生产直接影响到企业的生存和可持续发展。目前我国冶金行业中很多小企业的安全生产应急管理能力还处于较低水平,应急管理体系的构建还存在着不完善、不科学等问题,专职消防队伍建设、相关人员素质培养和专业知识能
期刊
图像描述是场景理解的重要研究内容之一,旨在根据图像内容生成相应的描述性文字,是一个充满挑战性的任务。图像描述同时涉及了计算机视觉和自然语言处理两个领域的内容,不仅需要捕捉图像中存在的目标以及目标之间的复杂关系,还要用语言将这些信息以文本的形式表达出来,图像描述任务在图像检索、智能人机交互、视觉障碍辅助等方面有着广阔的应用前景。传统的图像描述算法采用检索式方法,从预先构建好的图像-文本知识库中找出合
文明是文化的历史积淀,文化是文明的外在表现形式。从农业文明、工业文明到生态文明的发展历程,也是生态文化范式不断解构与重构的过程。不同文明背景下的生态文化在本质、理论及方法等方面有着各自的典型特征,深刻认知生态文化范式的转换规律,是精准把握中国生态文明建设本质的内在要求。中国生态文明建设驱动现代生态文化范式向新时代生态文化范式转换,在范式转换过程中,既要结合当前的文化、社会、经济及科技等要素特点进行