论文部分内容阅读
近年来随着电子商务的飞速发展网上的交易量日渐增大,这就对网上交易的安全性提出了更高的要求。有些学者提出采用指纹识别技术来提高网上交易的安全性。相比较于传统的由字母数字组成的密码,指纹识别更加便捷且不容易被破解。相对于传统的密码方式,指纹识别带来高安全性的同时也带来了高复杂性。系统需要存储的数据量变大,并且对读写数据的效率有了更高的要求。这时传统的关系型数据库已经无法满足我们的需要,因此本文采用云存储平台来存储指纹支付系统中海量指纹数据。本文选择HDFS作为云存储平台的基础架构,但用于指纹支付系统中海量指纹数据存储时还存在一些问题。一方面HDFS在设计之初是用来处理大量大文件的,用于海量指纹数据小文件时就会出现NameNode内存不足,查询效率过低等问题。另一方面HDFS中负载均衡算法只片面的针对各数据节点的磁盘空间使用率进行负载均衡,并没有全面的考虑数据节点状态,不能使集群更健康的运行。针对以上两个方面的问题,本文着重研究了HDFS存储海量指纹数据小文件时的优化方案以及多角度动态负载均衡算法,所以要做的主要工作为以下几个方面：(1)对指纹支付系统中云存储平台进行了需求分析,并根据需求分析提出了设计目标。(2)设计实现了上层管理客户端。首先进行模块设计,然后通过HTML语言完成Web客户端的实现。(3)针对需要存储的数据特点,我们对HDFS进行了一定的优化。在数据上传到HDFS之前先要传送到小文件判别合并器中；小文件按照地域信息进行合并；元数据分布式存储到各个数据节点；针对热点小文件设定相应的缓存策略。(4)对HDFS中负载均衡算法进行优化,提出了多角度动态负载均衡算法。判断一个数据节点的负载状态,不仅仅考虑其磁盘内存空间使用率,还要考虑其存储文件被读取的频繁程度以及不同数据节点的不同配置,综合几个角度动态得出threshold(阈值)。并且提出负载均衡需要选择正确的时间,在集群负载整体过重时选择暂不进行负载均衡以免加重集群负担。通过实验证明,以上工作确实提高了云存储平台用于存放海量指纹数据时的性能,并且使集群的负载均衡更加的全面。本文的研究工作对于指纹支付系统中云存储平台的构建具有积极的意义。