基于GPU量化的大规模近似最近邻检索方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:flywhc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网时代,大规模近似最近邻检索方法在海量多媒体数据检索,人脸识别等领域具有广泛应用。如何快速、准确、高效地对大规模(十亿级别)多媒体数据进行近似最近邻检索成为当前检索技术方向研究的热点和难点。
  目前主流的大规模近似最近邻检索方法主要采用基于量化方法的索引结构和压缩编码方法来提高检索准确率和速度,并利用图形处理器(GPU)强大的并行计算能力对检索方法进行加速。由于GPU的内存空间有限与不同于CPU的运算机制,使得一些基于量化的近似最近邻检索方法无法在GPU上有效地运行,在GPU上的检索准确率和速度仍有很大的提升潜力。本文旨在研究如何将新的量化索引结构和量化编码方法与GPU相结合,提升近似最近邻检索方法的检索准确率和速度。
  本文针对现有量化方法中存在的索引存储开销和压缩编码误差大以及检索准确率和速度之间存在矛盾等问题,提出了三个新的基于GPU量化的近似最近邻检索方法。
  (1)针对乘积量化方法的索引利用率低和压缩编码量化误差大的问题,提出了矢量乘积量化树索引结构和面量化编码。矢量乘积量化树索引是矢量量化和乘积量化所组成的两层索引结构,首先使用少量的矢量量化索引将高维空间划分成若干个索引区域,然后在各索引区域内使用不同的乘积量化索引将一级索引区域进一步分成二级索引区域。一级索引区域内数据的均匀分布可以有效地提高二级索引区域的利用率,二级索引利用乘积量化方法可以用较小的存储开销产生数量巨大的索引区域。面量化编码通过将高维向量中每个子向量投影到最近的超平面上,最后将每个子向量的编码连接在一起表示该向量。由于每个超平面上的投影点都比乘积量化编码中任何一个中心点更靠近子向量,所以面量化编码相比乘积量化编码有更低的量化误差。实验结果表明,矢量乘积量化树索引较乘积量化索引的空索引区域数量减少了80%,而面量化编码的量化误差比乘积量化编码误差降低了98%。基于矢量乘积量化树索引和面量化编码的近似最近邻检索方法相比基准方法在两个10亿级别公共数据集SIFT1B和DEEP1B上的检索准确率分别提升了34%和68%。
  (2)针对矢量量化索引结构内存开销大的问题,提出了矢量线量化索引。该索引结构在矢量量化索引的基础上引入了线量化索引,矢量量化索引将高维空间划分成一级索引区域,而第二层线量化索引能够将索引区域数量扩大数十倍,这样矢量线量化索引可以用较少的存储开销产生数量巨大的索引区域。实验结果表明,矢量线量化索引仅需要矢量量化索引1/4的存储开销就能达到更好索引质量。基于矢量线量化索引的近似最近邻检索方法比基于矢量索引的近似最近邻检索方法在准确率方面提升了14%,平均检索速度方面提升了5倍。
  (3)针对GPU上的近似最近邻检索方法中存在的检索准确性和速度之间的矛盾性问题,提出了基于层次化量化索引的近似最近邻检索方法。检索方法通过提升量化索引的索引质量和降低距离计算的复杂度来缓解检索准确率和速度之间的矛盾。层次化量化索引是一个三层量化索引结构,通过一层矢量量化索引和两层线量化索引相结合,进一步减少了量化误差。该检索方法通过层次化量化索引结构和简化的非对称距离计算算法在一定程度上缓解了在GPU上检索方法中检索准确率和检索速度之间的矛盾。实验结果表明,与基准方法相比,基于层次化量化索引的检索方法用不到3%的准确率损失换取了100%的检索速度提升。
  综上,本文主要研究大规模高维数据相似性检索中的GPU量化方法,提出了三种基于GPU量化的近似最近邻检索方法:基于矢量乘积量化树索引结构和面量化编码,基于矢量线量化索引和基于层次化量化索引的检索方法。在两个公共的十亿级别的数据集SIFT1B和DEEP1B上的实验表明,所提出的检索方法对比现有的近似最近邻检索方法获得了检索性能的大幅提升。
其他文献
异构并行系统通常是指由中央处理器(Central Processing Unit,CPU)与图形处理器(Graphics Processing Unit,GPU)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)等协处理器共同组成的计算方式异构的高性能计算系统,因能提供更为高效的应用加速能力而被广泛部署,在大数据、人工智能等众多关键领域得到了广泛应用。当
Android(安卓)操作系统占据了智能终端操作系统的大部分市场份额,搭载Android操作系统的智能设备成为主流。由于移动智能终端携带了较多的用户隐私信息,同时Android应用的安全机制存在一定的局限,导致Android应用可能存在严重的安全隐患。需要对Android应用的安全机制特别是权限机制进行深入的研究,分析Android应用中的权限安全风险。同时关注和研究Android应用的安全漏洞,
学位
由于互联网信息的快速增长,用户面临着信息过载的问题。借助数据挖掘和人工智能领域中的相关技术,推荐系统能够帮助用户快速找到其感兴趣的信息,在社交网络、电子商务、在线阅读和广告投放等领域得到了广泛的应用。随着互联网应用的多元化发展,传统的推荐模型难以直接运用到新领域中以解决相应的问题。  以智能手机,笔记本电脑等为代表的电子产品更新换代通常较为频繁,而用户对于此类产品的消费周期则相对较长。传统的推荐系
学位
随着计算机软硬件技术的飞速发展,传统的动态随机访问存储器(Dynamic Random Access Memory,DRAM)因其存储能耗大、存储密度小、可扩展性有限等缺点已经无法满足应用越来越大的内存需求。新兴非易失性存储器(Non-Volatile Memory,NVM)尽管可以避免此类问题,但因其访问时延高、写次数有限及写功耗大,也无法直接作为系统内存。因此,混合使用小容量DRAM和大容量N
学位
随着计算机网络的发展以及智能手机等多媒体获取设备的普及,多媒体数据呈爆炸式增长,其中图像和视频数据已经成为大数据时代的主要数据类型。如何在海量的图像中以较小的时空开销准确找到用户感兴趣的图像成为多媒体领域的研究热点。针对图像的底层特征与高层语义间的“语义鸿沟”问题,以及全局图像表示缺乏几何不变性和空间占用较大的问题,利用深度学习、特征编码、哈希学习等方面的知识,论文系统探讨了图像检索系统中的描述符
学位
信息技术的发展促使数据规模急剧增长,进一步推动了云计算技术的发展与成熟,使得越来越多的企业和个人将业务或应用迁移到云计算平台上。在云计算平台中,云服务提供商往往采用共享服务架构,并通过虚拟化技术向用户交付服务。比如将租户应用部署在虚拟机内,而虚拟机共享计算、存储和网络等物理资源。共享服务架构能够提高资源利用率并降低管理成本,但会引入资源竞争,使得租户间的性能相互干扰。云存储系统作为存储服务的载体,
磁盘是数据存储最常用的设备之一,磁盘故障预测是保障数据可靠性的重要技术手段。磁盘故障预测方法一般可以分为两大类:设备级故障(即整盘故障)预测和扇区级故障(即局部磁盘故障)预测。学术界采用一些传统机器学习方法,例如支持向量机、逻辑斯特回归、决策树和随机森林等,预测磁盘故障并取得了一些成果。但是,这些研究仍然存在以下三个方面不足:(1)面对实际数据中心中单一型号数量较少(小样本)磁盘的故障预测问题,预
学位
固态盘(Solid State Drive)因具有高内部并行性、低随机访问延迟、低能耗以及小尺寸等优势,作为主流的存储设备被广泛用于个人电脑和数据中心。近年来,随着5G和大数据技术发展,对存储容量、性能和可靠性提出了更高需求。得益于半导体制程工艺技术、单元多比特技术以及三维堆叠技术的发展,闪存存储密度大幅提升。然而,存储密度的增长是以牺牲可靠性为代价,不可靠的存储介质会引起数据存储可靠性维护开销大
学位
键值存储是支撑数据中心和众多数据密集型应用的关键技术,广泛应用于网页检索、电子商务、云存储、社交网络等领域。大数据时代下,键值存储的发展始终围绕着三大需求,即更高的访问效率、更大的存储容量和稳定可预测的性能。在近些年发展的新型存储器件中,瓦记录磁盘显著提高了磁盘面密度,具有低成本、高存储容量的优势;非易失性内存则能够明显提升访问效率,兼具传统硬盘的持久性和接近DRAM的存取速率。因此,新型存储器件
为从大规模图中挖掘出有价值的信息和知识,分布式图计算系统首先通过图分割方法,将图中的顶点和边分配到各计算节点上;然后,执行特定的图处理流程,迭代计算图中的顶点数值,直至图算法收敛。因此,图分割方法和图处理流程在很大程度上决定了分布式图计算系统的整体性能。传统的分布式图计算系统通常基于同构计算集群,并采用静态的、通用的图分析模式。但随着图计算应用在广度和深度上的不断扩展,新型的分布式图计算系统需要能