论文部分内容阅读
目前,图像重排序技术的使用已经成功地改善了基于简单查询的图像检索性能。然而,针对复杂查询,由于语义鸿沟的进一步扩大,重排序技术并没有起到显著的作用。另外,现如今针对复杂查询的图像检索中,通常忽略了动作视觉概念的重要性。因此,本文从复杂查询中挖掘动作视觉概念,提出面向复杂查询时将动作视觉概念亦纳入考虑的图像检索结果重排序方法。首先从复杂查询中提取动词和名词短语作为视觉概念,然后分别从语义层、视觉层以及两者的交叉形态估计复杂查询与图像之间的相关性,最后根据相关分数完成检索结果的重排序。本文的主要工作和创新点如下:1.本文从概率的角度出发,致力于针对复杂查询的网络图像检索结果重排序。解决了现有的针对复杂查询的图像重排序方法中初始排序列表的不可靠性。2.从动作视觉概念的角度出发,提出一种基于名词和动作视觉概念检测的复杂查询图像检索重排序方法,并提出一个检测动词短语以及名词短语的启发式框架,而不是仅仅将单个单词作为检索概念。3.提出一个异构概率网络,用来估计每幅图像的相关分数。其中,这个网络包含三个子层次:图像对之间的底层关系、图像和视觉概念之间的关系以及视觉概念和复杂查询之间的高层语义关系。这三个层次相互补充促进相关分数的估计,最终生成新的排序列表。这种方法不依赖于原始检索结果的图像顺序,并且整个过程都是无监督的,可以有效地改善以往的重排序算法存在的问题。