基于云计算的冠字号码存储与查询系统中的关键技术研究与实现

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:zolono188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
冠字号码由冠号和数字编号两个部分组成,是人民币的身份标识。金融部门对冠字号码统计归档可以有效监管纸币的流通情况。冠字号码数据在掌握钱币来源去向、揭示资金关联、发现问题钱币等方面发挥着重要的作用。现金设备采集的冠字号码记录主要由文本与图片两部分数据组成,数据量巨大。关系型数据库在处理海量冠字号码数据时面临巨大的挑战,系统成本高,难度大。而基于云计算的技术虽然在很多海量数据的存储与查询中得到了应用,但是对于冠字号码实际应用中的多维查询、索引构建、小文件存储与查询等具体问题,现有的云平台也存在着一些不足。本文设计并实现了基于云计算的冠字号码存储与查询系统,并对其中的部分关键技术进行了研究。冠字号码文本记录的查询常常会涉及到多个查询条件,而基于云计算的NoSql数据库采用Key-Value结构,只支持主键的快速查询,对于多个非主键的查询很有可能会造成全表扫描操作,查询效率不高。本文提出了一种基于HBase的多维索引框架来实现冠字号码文本信息的快速查询。该索引框架首先设计了粗细粒度结合的多维空间索引,实现多维数据向一维上的投影;然后通过每个时间段内的记录条数对生成数据区块的大小进行限制,在控制HBase区块数量的同时使维度相似的数据能够被划分在同一个区块中;最后构建了时间序列的B+树,减少搜索范围,提高查询的效率。实验结果表明,本文提出的方法在数据插入和查询方面均获得了较好的效果,其中多维查询结果明显好于CCIndex和MD-HBase两种常用方法。针对冠字号码图片的存储和查询,本文设计了基于分布式文件系统HDFS的存储方案。首先使用多队列对基于MapFile的文件进行合并,减少小文件数量,缓解了NameNode的元数据压力;然后提出了一种基于HBase的二级索引结构,全局索引为合并后文件与小文件的映射关系,局部索引为小文件与图像之间索引,通过两级索引减少图片的寻址时间,提高了查询效率;最后使用基于Redis的缓存技术对图片数据进行预取,并结合时间与访问次数计算文件的热度表达式,改进现有的缓存换替代算法,提高缓存命中率。实验结果表明,本文提出的冠字号码图片存储和查询方法能够获得较好的查询响应时间,并且缓存机制进一步提高了相关查询的效率。在冠字号码文本及图片的存储和查询方法基础上,本文设计并实现了一套基于Hadoop集群以及HBase分布式数据库的海量冠字号码查询系统。系统的整体实验结果表明,本文提出的系统解决方案在冠字号码的存储与查询过程中获得了较好的效果,优化方法是可行的和有效的。
其他文献
林业生态工程是指依据生态工程学和森林生态学的基本原理,设计、建造的以木本植物为主体、协调人与自然关系的一种生产工艺系统。林业生态工程对于涵养水源、保持水土、防风
新闻出版行业作为一个“内容为王”的行业,它源源不断地为公众提供以书刊、报纸、杂志等为载体的优质内容,推动社会文化水平稳步前进。近年来,伴随着计算机和互联网技术的快
无线传感器网络(Wireless Sensor Networks,WSN)已广泛应用于环境监测和预报、医疗系统与健康护理、工业监测、精细农业等诸多领域。覆盖作为衡量WSN性能的重要指标,反映和刻
随着4G通信系统的大范围商用,5G时代的来临已成不可阻挡之势。密集部署异构网络由于缩短了通信节点的接入距离,因此成为当前学术研究的热点。作为5G关键技术中的重要一员,其
随着信息技术的不断发展,其应用领域也不断拓展,特别是在我们矿山建设中也越来越多的使用各种自动化技术,以提高生产效率,提升安全保障。同样在我们的计量工作中,信息化技术
图像分割是图像处理中最为关键的步骤,图割是一种基于图论的图像分割方法,拥有图论理论的支撑。基于图割的图像分割方法能够兼顾图像的局部特征与全局特征,近些年来备受学者
随着计算机技术的快速发展和社交媒体的普及,社交网络已经成为人们相互结识与交流、进行信息传播与共享的主要方式之一。然而,在网络社交的过程中,人们不需要直接面对面的交
伴随高速发展的国民经济和日渐加快的城镇化建设,城市交通系统的安全与低效问题日渐突出。具备实时识别路标的智能交通系统(ITS)被认为是解决上述问题的有效途径。ITS是一个
复合T形管分离器是在普通T形管的基础上具有复杂多分支结构的一种T形管道,现逐渐应用于两相及多相流研究中。在复合T形管分离器中,油气混输液在管路中流动时,随着进出口压力、流量、管壁温度、入口油气比、管道几何形状及地形起伏等参数的变化,形成许多具有不同相分界面的流动结构形式,简称流型。流型是描述气液两相流动体系的基本要素之一。不同的多相流型具有不同的动力学和传热特性,因而流型的研究对两相及多相流的理论
研究电力线通信技术,前提条件是对其通信信道进行良好的建模。针对目前PLC信道建模存在的问题,为了方便研究电力线通信的关键技术,在实验室建立符合电力线通信实际情况的信道