【摘 要】
：
Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。
论文部分内容阅读
Hadoop存储海量小文件将导致存储和计算性能显著下降。本文通过分析HDFS架构提出了一种基于文件类型的小文件合并方法,即根据文件类型将相同类型的小文件合并为大文件,并建立小文件到合并文件的索引关系,索引关系存储于HashMap中。为了进一步提高文件读取速度,建立了基于HashMap的缓存机制。实验表明该方法能显著提高HDFS在存储和读取海量小文件时的整体性能。
其他文献
高等教育快速发展与"新工科"建设对高校人才培养提出新的要求,进一步促进应用型本科院校工科专业走校企合作"嵌入式"人才培养之路。以我校软件工程专业为例,介绍校企合作"嵌入式"人才培养的含义与背景;分析"嵌入式"人才培养的必要性与可行性;重点阐述了软件工程专业"嵌入式"人才培养实施方式;结合实际执行情况总结校企合作协同育人的质量监控措施。希望能为应用型高校的校企深入合作协同育人提供点滴参考。
在线教育代表了信息时代教育的新发展趋势。为了全面、客观地反映在线教育领域现有的研究成果,运用CiteSpace软件对CNKI数据库的361篇核心期刊研究文献进行了可视化分析。结果表明:在线教育领域发文数量呈稳定增长趋势,但是2020年预计将井喷式增长。文献发表期刊主要集中在《中国远程教育》《现代教育技术》等影响因子比较高的期刊,文献作者未呈现团队式合作趋势;该领域的研究内容集中在在线教育的理论研究
谢良佐不仅是二程门下最具发越性的弟子,亦是与湖湘学派、朱子理学、陆九渊心学三方有较深思想瓜葛的人物。他抉发二程开创的道学话语和问题意识,搁置对理气论的讨论,重点转
随着互联网技术的快速发展,数据中心规模不断扩大,运维人员在网络日常运维服务过程中发现需要花费大量时间在咨询和处理本质相同形式多变的网络问题、运维信息没有集中统计和整理、时间紧任务重等问题,影响整体的运维效率。为提高数据中心的运维效率,在日常网络运维服务过程中对智能问答技术进行研究,并设计一个基于网络运维知识的智能问答服务平台。本文将智能问答技术应用于网络运维服务中,构建数据中心运维知识问答平台,能
在化工机械生产企业中,产品设计过程中产生的大量工程图纸、技术文档以及CAD文件,应用PDM系统对产品数据进行管理,可以促进企业提高产品质量,缩短研制周期,加快产品投放市场速度,从而提高产品的竞争能力。提出了基于Web的PDM集成系统设计,介绍系统结构组成及关键技术,分析了系统的信息流程,给出了应用实例。
随着科技的发展和进步,计算机应用技术的使用越来越广泛,它的广泛使用能够有效提高企业的竞争力。文章首先分析了当前计算机应用技术与信息管理的发展现状,从促进信息管理工作效率的提升、帮助信息管理系统的功能的完善、提高信息收集与管理的有效性三个方面探讨了信息管理与计算机应用技术整合的优势,通过对计算机应用技术和信息管理存在的问题分析,进而提出了一些改善信息管理与计算机应用技术整合的策略。
装备保障性验证是控制装备保障性达到目标要求的有效手段,目前,装备保障性验证领域积累了很多技术方法以及海量异构的数据。知识图谱具有对知识、数据进行梳理从而进一步实现机器智能的作用。构建装备保障性验证领域知识图谱也将是装备保障性领域迈向智能化的开端。首先简要介绍装备保障性验证发展现状,其次概括知识图谱构建的技术方法和研究热点,然后提出装备保障性验证领域知识图谱构建方法以及逻辑和技术流程,最后对未来发展
针对电动汽车串联电池在电路中的不一致性问题,对钛酸锂电池组不一致性的原因和均衡方法进行了详细分析,通过对比研究主动均衡和被动均衡,并结合具体需求,设计了基于电压的被动均衡控制策略,采用Matlab/Simulink对电池组均衡策略进行模型的搭建,并进行仿真验证。通过实验测试验证均衡控制策略的有效性。