【摘 要】
:
随着信息技术飞速发展,互联网越来越多的渗透到人们的生活中。而在这种现象的背后是数以亿计的数据每天在不断的被生成、存储、计算、挖掘和研究,传统数据库在面临如此大规模的
论文部分内容阅读
随着信息技术飞速发展,互联网越来越多的渗透到人们的生活中。而在这种现象的背后是数以亿计的数据每天在不断的被生成、存储、计算、挖掘和研究,传统数据库在面临如此大规模的数据量下已经无法满足人们的需求。于是,越来越多的分布式文件系统进入了人们的视野。其中,阿里巴巴公司为了解决淘宝网海量小文件的存储与管理问题提出了一种新的分布式文件系统----淘宝文件系统(TaoBao File System,TFS)。这种分布式文件系统在读写性能上有所突破,但在容灾机制上由于仍然采用三副本策略,所以容灾成本及效率并不理想。因此,TFS的容灾机制优化问题是TFS研究工作的一个重要方面。针对分布式系统容灾问题,国内外学者主要从两条途径出发进行研究:一条是通过硬件方法,通过改善设备来降低存储硬件出错的频率。另一条则是采用软件的方法,通过生成冗余数据的方法来保证数据的可靠性,例如纠删码和传统的三副本容灾策略。这些已有的方法在成本或效率上都达到了一个瓶颈,一旦数据规模变得巨大,就可能给分布式文件系统带来难以估价的数据损失。 本文针对一种特殊的分布式文件系统TFS,首先从软件途径出发提出了一种基于稀疏随机矩阵码(Sparse Random Matrix Code,SRM)的冗余化方法。该方法通过构造一种低密度的随机矩阵,达到了容错能力高、计算复杂度低及扩展能力强等效果。然后,利用这种高效的冗余方法,提出了一种高效的TFS文件管理方案:SRM文件系统(Sparse Random Matrix FileSystem,SFS)。通过对数据服务器进行分区管理并增加一个新的容灾节点,实现了对TFS容灾机制的深度优化。
其他文献
粒计算是研究如何在问题求解过程中使用人类“粒度”和“粒”的思想的一门新兴学科,致力于探索基于粒度的理论、技术和工具,在过去十年中,它得到了很多研究者的关注。粒计算三元
随着移动技术的发展,智能手机等移动设备在日常生活中起到越来越重要的作用,但受限的资源始终制约着智能手机的计算能力。为了扩展移动设备的计算能力,弹性计算的概念被应用
约束满足问题(ConstraintSatisfactionProblem,简称CSP)简而言之就是由一组变量和一组约束组成的约束关系,求解约束满足问题就要为变量找到一组赋值而并不违反任何一个约束。
定位技术指的是运用某种无线通信网络平台,将收到的无线电波的某些参数如信号强度转化为定位节点与参考节点之间的距离,然后按照特定方法测得移动终端在某时段内所处的地理位置
中国互联网络信息中心(CNNIC)发布的近几年的《中国搜索引擎市场研究报告》中指出,网络音乐以其使用率一直位居中国互联网应用前三甲,大部分综合搜索引擎都已经提供针对音乐
音乐曲风与情感自动识别是音乐检索与推荐领域的重要课题。相较于元信息、歌词、标签等文本数据,数字音频本身是音乐最直接、客观的数据来源。当今大多数现有的音乐自动分类
中国悠久辉煌的历史,孕育了中华深厚文化内涵,而古代汉语作为传承中国文化的主要载体,是学习、研究中华灿烂历史文明中不可忽视的重要媒介。得益于信息技术的蓬勃发展和在语
对等网络(Peer-to-Peer Network,即P2P网络)诞生已有十余年,其至今已成为互联网流量的最大消耗形式之一。P2P网络的发展中出现了多种形态,而其中结构化覆盖网络即分布式哈希
目前移动终端设备的发展速度越来越快,带来了移动网络服务使用的普及,移动网络服务已经被广泛应用于人们的日常生活中,但是移动网络服务的高速发展必然会使用户收到大量来不
目前,传统的构造油气藏越来越少,利用储层预测和裂缝预测技术发现新油田已成为油气勘探的主题。为了发挥储层和裂缝预测技术作用,在OpenPetro储层裂缝预测软件系统中,针对井