论文部分内容阅读
HDFS设计之初只考虑到如何更好地处理大文件，并没有针对海量小文件进行优化，因此，当使用HDFS管理海量指纹数据小文件时会出现NameNode内存负载过重、上传及查询性能过低等问题．采用SequenceFile序列化技术进行小文件的合并，并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化．实验证明，该优化方案可以有效地解决NameNode内存负载过重的问题，并且海量指纹数据小文件的上传和查询性能得到了提高．