基于改进HDFS的冠字号小文件分布式存储研究

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户：huangyp2002

【摘要】

：

针对冠字号小图片存储到HDFS系统中带来的访问瓶颈问题,改进了原有的HDFS系统,新提出的分布式系统机制是充分基于文件相关性(File Correlation)进行合并处理的HDFS(FCHDFS)。

【作者】

：

徐俊王庆华赵云龙

【机构】

：

广州无线电集团广州广电运通金融电子股份有限公司ATM研究院,华南师范大学计算机学院

【出处】

：

电脑知识与技术

【发表日期】

：

2014年6X期

【关键词】

：

HADOOP 小文件 HDFS 文件合并 Hadoop small file HDFS file merge

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

针对冠字号小图片存储到HDFS系统中带来的访问瓶颈问题,改进了原有的HDFS系统,新提出的分布式系统机制是充分基于文件相关性(File Correlation)进行合并处理的HDFS(FCHDFS)。由于HDFS中所有的文件都是由单一的主节点服务器托管-NameNode,每个存储到HDFS的文件在NameNode主存储器中都需要存储它的元数据,这必然导致小文件数量越大HDFS性能就越差。存储和管理大量的小文件,对NameNode是一个沉重的负担。可以存储在HDFS的文件数量是受到NameNode的内存大小

其他文献

都匀市幼儿园3～6岁儿童行为相关因素的调查

目的：了解都匀市幼儿园儿童行为的问题的现状，探讨行为问题童与家庭因素的关系。方法：采用Achembach’s儿童行为量表及“儿童行为问题相关因素问卷”对都匀市幼儿园1107名3～6岁儿

期刊

都匀市行为问题相关因素幼儿圆儿童

情境创设方法多

在探究式化学课堂教学中如何创设恰当的问题情境呢？一、通过热点社会新闻创设问题情境对社会新闻学生往往非常关注，以此创设问题情境，能够起到“事半功倍”的效果。

期刊

创设问题情境创设方法化学课堂教学社会新闻事半功倍探究式学生

应用必奇治疗新生儿腹泻病38例

期刊

新生儿腹泻治疗