【摘 要】
：
HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量
【机 构】
：
中国科学院软件研究所基础软件国家工程中心,中国科学院研究生院
【基金项目】
：
新闻出版重大科技工程项目(0610-1041BJNF2328/23);国家科技支撑计划课题(2011BAH14B02);中国科学院知识创新工程方向性项目课题(KGCX2-YW-174)
论文部分内容阅读
HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想。提出一种基于小文件合并的方法 HIFM(Hierarchy Index File Merging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引。采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载。此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率。实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合。
其他文献
随着科学技术革新的日新月异,三维激光扫描技术应运而生,已经成为了一项新的激光技术,相继研究应用于各大领域,与GPS技术一样,是工程应用领域的又一次科技革命。对桥梁进行变
医疗保障制度是保障国民健康的基本制度。我国医疗保障制度自建国以后历经几次改革与调整，但目前仍然无法满足国民的医疗需求，老百姓“看病难”、“看病贵”等问题日益突出。本
目的：观察温阳利水法治疗肺动脉高压所致右心衰竭的临床疗效，以期为中医药治疗本病提供一定的理论依据。方法：纳入60例肺动脉高压致右心衰竭的患者，随机分为对照组(常规西药)与治
摘要：联盟战略是美国历史发展中重要的安全战略,美国的联盟实践支撑美国历经国际格局的变迁,成为冷战后的唯一霸权国家。冷战结束后,美苏两极体系解体,但美国为首的联盟体系并
在我国中央财政赤字增加和地方债务不断累积的情况下,观察财政风险的变化情况尤其重要。本文首先总结财政风险预警研究的最新进展,构建了一个在复杂现实背景下分析财税政策调
经济自由与社会自觉总是相生相伴。改革开放在带来经济腾飞和社会富足的同时,也催生了公民权利意识、参与意识和维权意识。在经济发展与环境保护、威权政体与公民社会之间矛
目的:研究无胆红素脑病临床症状的新生儿,头颅MR对称性苍白球T1WI高信号改变预后情况。方法:收治新生儿30例,头颅MR有典型特征性改变,所有患者均无明显胆红素脑病典型特征性
太原的建置经历了郡县、州县、府县、路县、省县和市区 (县 )等时期 ,期间名称多变 ,治所几迁 ,辖区不同 ,沿革复杂 ,在此背景下形成了今日太原的新的建置格局。
唐代政府文书、实际政治活动以及唐人的观念中,宰相依然具有“燮理阴阳”的职能;宰相在灾时往往提出避位退让的请求,以示谢过负责,但一般不会得到批准;唐代宰相的政治生涯因
<正>近日,国家质检总局举办了"儿童安全坐椅安全行"主题活动,并首次发布了涉及5大城市的《中国城市居民使用儿童安全坐椅现状调查结果》。国家质检总局副局长陈钢表示,自2015