论文部分内容阅读
近些年来，随着Web2.0的蓬勃发展，以图像为代表的多媒体数据呈现爆炸式增长。为了满足用户大量的搜索需求，建立快速有效的搜索系统成为了一个亟待解决的问题。现阶段，大多数搜索引擎采用了基于文本的搜索技术，利用图像周围的文本建立索引并进行搜索。然而，图像的文本往往具有噪声大甚至缺失的问题。为了解决基于文本的图像搜索所面临的问题，图像搜索重排序作为一种能够有效提升图像搜索效果的手段，在近些年来受到了多媒体研究领域的广泛关注。 目前的图像搜索重排序虽然已取得了一定的进展，但由于图像底层特征和高层语义慨念之间的语义鸿沟尚存，而查询文本表达和用户搜索意图之间的意图鸿沟日益加剧，图像搜索重排序中还存在许多问题需要研究。获取用户搜索意图最直接的方式是使用相关反馈机制，通过与用户交互获取其显式反馈，然而这种方式过程复杂、用户体验差。为了提升用户搜索体验、满足用户搜索需求，本文尝试将能够提供用户隐式反馈的用户点击信息引入到图像搜索重排序中。作为一个创新性研究课题，图像搜索重排序在运用用户点击信息的过程中面临着如何引入用户点击信息、如何解决由用户点击信息噪声引起的点击偏差和如何利用尾查询的有限用户点击信息三方面的问题。 针对以上问题，本文就基于用户点击信息的图像搜索重排序进行了深入探讨和研究，并提出了相应的解决方案，主要工作和创新之处可以总结为以下几点: 为了探求用户点击信息在图像搜索重排序中的作用，本文提出了基于点击促进的图像搜索重排序。该方法在点击促进的基础上执行随机游走，利用单一视觉特征对图像相关重复模式进行挖掘以初步克服点击偏差问题。在常用搜索引擎上收集的Query40-Image20k小型数据集上进行的实验表明，该方法在NDCG@10得到了高于初始查询结果6.67％的提升，且与现有重排序方法相较获得了更令用户满意的搜索结果，充分验证了用户点击信息在缩减意图鸿沟上的有效性。 为了有效克服用户点击信息的点击偏差问题，本文提出了基于多特征的图像搜索重排序，包括基于点击信息的多特征自适应融合图像搜索重排序和基于点击信息的多特征度量学习图像搜索重排序。前者利用点击信息进行强监督学习，结合多特征自适应融合充分挖掘图像相关重复视觉模式;后者利用点击信息进行弱监督学习，使用多特征进行有关图像相似性和图像典型性的度量学习。在常用搜索引擎上收集的Query519-Image100k大型数据集上进行的实验表明，与点击促进结果相比，以上两种方法可以在NDCG@5上分别取得5.07％和7.55％的提升，充分展示了基于多特征的图像搜索重排序在克服点击偏差问题上的优越性。 为了提高尾查询在图像搜索研究领域的关注并有效利用尾查询的有限用户点击信息，本文提出了面向尾查询的图像搜索重排序。该方法利用多特征自适应融合以克服尾查询文本信息模糊的问题，同时借助图像点击对来增加训练数据以解决尾查询点击信息有限的问题。在常用搜索引擎上收集的TailQuery100-Image10k尾查询数据集上进行的实验表明，该方法可以在NDCG@5和NDCG@10分别取得高于初始查询结果10.88％和9.12％的提升，且其重排序结果优于其他现有重排序方法，充分证明了其在提升尾查询搜索效果和满足用户搜索需求上的优势。