随着云计算、大数据领域的发展,对分布式系统的应用与要求越来越多,面对的应用环境也越来越复杂。Hadoop分布式系统是当前主流的分布式系统之一,在科研及商业领域已经有了非常广阔的应用,简单而实用的设计与开源的特点使它成为当下优秀的大数据处理平台之一。但是Hadoop系统中的文件系统对海量小文件的支持有不足之处,海量的小文件可能使管理节点的压力过大,甚至导致系统瘫痪。本文对基于Hadoop的文件系统进行J了改进,使其支持海量小文件的存储管理并且具备高性能的缓存与预取机制。本文的研究内容分为聚合小文件与索引建立,系统元数据与数据的缓存与预取两部分。在聚合小文件的过程中,定义了逻辑文件名的概念,以更好的表述小文件之间的相关性,并使用了在定制约束下改进的基数排序使得聚合的小文件具有局部相关性。参考Hadoop归档技术的原理,设计了高效的聚合小文件的索引机制。从而解决了 Hadoop系统对于海量小文件的支持缺陷这一问题。在系统元数据与数据的缓存与预取机制研究部分,根据聚合的相关性与索引设计,在分布式的存储节点设计了特定的元数据缓存,在客户端使用了合理的缓存管理结构与预取管理结构。并且提出了一种基于Hadoop的面向字节的存储块内动态数据预取算法。缓存与预取机制的设计与小文件聚合与索引建曲立的设计相辅相成,使系统具有有效的元数据缓存能力与高效的数据预取功能,并且具有通用的平台特性,易扩展性,大小文件兼具的存储能力,以及高效地访问性能。本文设计了基于HDFS改进的分布式文件系统,并且通过仿真模拟实验,将其所与源生HDFS、使用归档的HDFS进行对比,证明了本文提出的小文件聚合策略的有效性以及配套的缓存与预取机制的高效性。