随着信息技术的提高和互联网飞速发展,企业和个人数据出现爆炸式增长。研究调查预测到2020年全球数据量将达到35ZB。大数据时代已经来临,传统数据存储方式已经无法满足大数据时代的海量数据存储需求,而以HDFS为代表的分布式文件系统凭借其高可靠性、高可扩展、高容错性、低成本等特点为大数据时代的海量数据存取提供了全新的模式。然而,HDFS在处理小文件时存在存取效率低,元数据信息存储消耗内存大以及系统数据冗余度高等问题。因此海量小文件的存储方法的研究与优化成为国内外研究的热门之一。本文对HDFS分布式文件系统进行了全面分析,并介绍了重复数据删除技术,同时分析了基于HDFS系统存储海量小文件时存在的不足。针对网络中的存在大量的小文件及重复数据,分别采用了相应的的处理策略。本文的主要研究内容和创新点如下:(1)提出基于相似度的小文件合并算法。首先设计了提取文件关键字策略,对文件的关键字利用汉明距离进行相似度计算,将相关的小文件合并成大文件上传到HDFS上;结合小文件合并方案,对小文件的元数据结构、存储位置进行了分析,同时,对小文件的读写操作流程进行了详细的设计,有效地减少了系统的I/O操作,缓解了Name Node存储元数据的压力,间接地增加系统的存储容量。(2)针对系统中存在数据高度冗余问题,本文在基于TTTD算法的基础上提出了IOTD优化算法,可以明显地减小文件分块大小的不确定性,提高数据去重率,同时为了加快数据去重中查询索引表的速度,引入RUH表,通过Map Reduce编程模型将索引表中最近访问最多的数据块信息放到RUH表,达到减少查询索引表时间的目的。实验结果表明,本文提出的方案在有效减少Name Node的内存使用率,及系统存储冗余数据的同时加快了小文件存取的效率,大大提升了小文件的管理性能。