大数据时代下,传统关系型数据库遭遇了数据爆发式增长带来的巨大挑战,导致一些需要大规模存储和高效检索的业务需求很难处理和实现。由于拥有高可用、可扩展、分区容错等特性,Hadoop系列项目逐渐成为大规模数据计算和管理的有效方案。作为基于Hadoop分布式文件系统HDFS的分布式非关系型数据库,HBase有着许多关系型数据库不具备的适合海量数据存储和管理的优势。但随着研究和实践的深入,人们发现HBase进行非主键数据检索时,需要对整个数据表进行扫描,耗时较长并且代价很高,这限制了HBase在很多方面的应用。借鉴传统数据库中索引的思想,科研人员和工程师对HBase非主键数据索引进行了大量的研究,本文在总结并分析了这些研究面临的难点和关键问题的基础上,设计并实现了一种基于日志结构合并树LSM-Tree和计数布鲁姆过滤器CBF的HBase层次化辅助索引系统LB-Indexer。主要工作内容如下:(1)按照LSM-Tree层次化模型的思想,将整个辅助索引系统分为内存缓存和持久化存储两部分。内存缓存使用空间和时间复杂度低的跳跃表作为索引存储的底层数据结构,保证数据的写入和检索效率;利用HDFS分布式文件系统的可扩展和冗余备份的特性保证持久化存储中索引数据的高可用和稳定性。对于文件块的查询,使用CBF进行高效过滤,进而缩短索引数据的检索时延。(2)通过对一致性哈希算法的研究,设计实现了索引数据分片机制,保证了索引集群的高效检索和动态扩展。采用HBase协处理器中的钩子函数捕获数据及其操作,以此实现索引数据的动态维护;对于HBase中已经存在的海量数据,采用MapReduce离线计算框架进行处理,实现对索引的快速批量构建。(3)在内存缓存层中,通过对指数平滑法的研究,本文提出了一种比LRU缓存淘汰算法更为高效的冷热数据分离算法HotValue,该方法通过计算并排序缓存索引数据的热度值,达到冷热分离的目的,优化了内存的空间结构并提高了缓存数据的命中率。(4)通过大数据测试工具YCSB设计多组测试实验,分别从索引写入、批量构建、动态构建以及扩展性方面对LB-Indexer进行测试,证明了本文提出的辅助索引方法可以提供稳定高效的索引服务;最后,通过对比LB-Indexer与原生HBase、HotCols以及热数据的检索速度,表明本文方法能数十倍地提高HBase非主键数据检索效率。