信息技术的发展使其产生的数据呈爆炸式增长,传统的存储方式已难以胜任海量数据的存储,尤其是海量小文件的存储。由于海量小文件在元数据的管理、访问性能等方面面临巨大挑战,因此成为热点问题。本文在总结社交网络数据访问特点的基础上,对存储在Hadoop分布式文件系统HDFS(Hadoop Distributed File System)中的海量社交网络小文件进行了深入的研究,具体包括以下几个方面:(1)通过合并小文件方式减少所占Name Node内存,同时索引采用全局索引加局部块索引相结合的索引方式。(2)对于合并后仍小于数据块大小的文件,提出二次合并方法。即首先将每个用户的相关文件合并放入一个容器中,之后将小于数据块大小的文件再次合并,保存至HDFS中。(3)针对传统的静态合并文件方法不适应用户的动态访问的局限,本文采用一种基于访问日志的动态合并方法,其中考虑到合并文件的一致性,提出基于子集检测的频繁项挖掘算法,找出相关的小文件,从而实现小文件的动态合并。动态合并方法将本文的研究目标从文件层面转换到用户访问层面,为小文件的合并提供了理论依据。(4)动态合并可以预测用户下一步的访问,为预取小文件做引导,提高预取命中率。但预取和缓存的文件过多,便需要采用缓存置换算法。本文提出一种含循环单链表的缓存置换算法来清理缓存中的内容,达到空出缓存空间的目的。经实验验证,对于合并后仍小于数据块大小的相关文件,本文所提的方法可以达到减少访问时间的目的,即改进HDFS顺序读取文件的时间是原始HDFS读取文件时间的88.2%,同时合并后的文件所占Name Node内存和写入时间也随之减少。