随着大数据时代的发展,人类每天产生的信息量也在飞速增长,尤其是小文件,它的增长速度更是指数级的。面对海量小文件的存储和访问,传统的分布式文件系统存在以下几个问题:元数据结构效率低、磁盘IO效率低、磁盘空间利用率低和网络延迟高,如何解决这些问题是小文件存储和访问面临的重大挑战。针对传统分布式文件系统存在的上述问题,设计并实现了一个高性能、可扩展的小文件管理策略。为了不影响文件系统本身的架构和对合并后小文件的处理,将小文件管理策略单独作为一个模块提取出来,放到文件系统之前,提供文件的合并和缓存等功能,之后的工作则全部转交给文件系统进行处理。小文件管理策略采用基于“时间”的合并、基于“数据源”的合并和基于“日志的关联规则挖掘”的合并这三种合并算法来应对不同用户的访问需求,以增加系统灵活性;采用基于哈希的字典树索引来替代一般的定长hash索引,以解决索引查询慢的问题;采用基于日志挖掘的缓存替换算法来替代传统的LRU缓存替换算法,以提高缓存命中率,改善系统性能;最后,采用插件的思想对论文的小文件管理策略进行了设计与实现,将小文件管理策略封装成一个插件,实现其可重用和可扩展,从而满足用户访问不同文件系统的需求。实验结果表明,系统提供上述三种合并算法在不同的应用场景下有着各自的优势,与传统系统相比,内存使用都降低了约91%,访问性能分别提升了46%,58%,64%;此外,基于日志挖掘的缓存替换算法与传统的LRU算法相比性能提升了69%;最后,实验也证明论文提出的小文件管理策略可用于不同的文件系统中,充分体现了其重用性和可扩展性。