视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术,是计算机视觉研究中非常重要的一个研究课题。不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究,也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务,但对于计算机视觉而言,现有跟踪算法的性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来,还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化。为了解决这些难点问题,本论文以最近在信号处理和神经科学领域受到广泛关注的稀疏编码模型为理论基础,重点研究了如何利用稀疏编码的特性开发更加有效的目标跟踪方法。具体地,本论文的主要研究内容分为两条主线。　　第一条主线,利用稀疏表示全局的子空间搜索能力及对外观变化的表示能力,提出了两个目标跟踪算法:　　基于稀疏表示相似度计算的目标跟踪该方法将目标跟踪问题形式化为从所有目标候选中找到一个最小的子空间,能够以最小的重构误差线性表示目标模板。该问题最终转化为一个稀疏表示问题,即将目标模板表示为所有目标候选的线性组合。当假设目标候选包含当前跟踪结果时,线性表示的系数是稀疏的,因而可以通过Il范式最小化求解。并且,所求解的表示系数能够反映目标候选与目标模板之间的相似度,因此可以基于表示系数从目标候选中找出与目标模板最相似的候选作为跟踪结果。尽管本论文提出的方法并不是第一次将稀疏表示引入到目标跟踪中,但与先前提出的工作相比,创新点在于:第一,动机更直观。跟踪的目的正是要从目标候选中寻找与目标模板最相似的候选。本文的工作将目标模板表示为目标候选的线性组合,比之前的工作将目标候选表示为目标模板和单位基函数的线性组合更直观。第二,模型更合理。先前的方法在线性表示中引入单位基函数,而单位基函数的使用已经被后续的工作证实对跟踪的性能会带来负面的影响。第三,计算效率更高。Il范式最小化的求解是一个耗时的过程,本文提出的方法只需要计算一次Il范式最小化。而先前的工作需要为每一个目标候选计算一次Il范式最小化。　　基于在线外观变化基函数学习的目标跟踪尽管本文上一个提出的方法利用了稀疏表示的全局子空间搜索能力,在执行目标跟踪时达到了比先前的相关方法更优的性能,但该方法并没有显式地对目标跟踪过程中由于外在因素而导致的目标外观变化进行处理。本文进一步提出一种基于在线外观变化基函数学习的目标跟踪方法,将目标跟踪过程中目标外观的变化进一步分解为一组基函数的线性组合。更重要的是,考虑到目标跟踪过程中,目标的外观变化是逐渐累积形成的,本文采用了在线学习的方法从每一时刻收集到的训练样本中在线地更新这组外观变化基函数。一方面,学习的方法能够保证所学习出的基函数能够更加紧凑地对外观变化进行表示。另一方面,在线学习的方法在每一时刻利用当前收集到的样本对上一时刻的基函数进行更新,可以显著降低学习方法的计算复杂度。本方法的另一个创新点在于,同时维持多个目标模板用于包含目标由于自身因素的变化而得到的多个目标外观。这些目标模板同样采用了在线更新的策略,用于适应目标在不同场景的变化。相比于现有的方法通常使用单位基函数来对目标的外观变化进行表示,本文使用学习的基函数来表示外观变化,除了具有更强的对外观变化的表示能力外,更重要的是避免了现有方法中单位基函数即使在未发生遮挡时也能够随意表示任一像素的问题。　　除了利用稀疏表示全局的子空间搜索能力以及对目标外观变化的表示能力外,稀疏编码还具有更符合人类视觉系统对视觉信息响应特性的能力,即局部的表示能力。本论文的第二条研究主线将稀疏编码的局部表示能力用于目标跟踪中的外观建模,提出的算法包括:　　基于相关稀疏特征选择外观建模的目标跟踪传统的外观建模方法广泛使用硬编码的特征,如SIFT和HOG等。这类特征的明显特点是固定计算步骤,不随场景的不同而改变。然而自然图像中的结构信息十分多样,并不能通过固定的计算方法来描述出所有潜在的结构特征。另一方面,自然图像中潜在的结构特征满足一定的统计规律,这类特征可以通过统计学习的方法得到。因此,本论文提出了一种无监督的特征学习方法。首先从自然图像中采样足够多的图像块作为训练样本,学习一组独立成分分析(ICA)的基函数和滤波器。已有的研究表明,ICA的滤波器类似于Gabor滤波器,能对图像中的边缘信息进行响应。在为目标的外观进行建模时,计算出目标图像中所有图像块在各个滤波器下的响应并统计响应的分布作为目标的外观表示。考虑到跟踪序列只是自然图像的一个子集,为了增强基于ICA响应的外观表示的判别能力,进一步提出一种基于熵增的特征选择方法,选择与目标最相关的那些特征,计算它们的分布作为目标最终的外观表示。因为ICA是稀疏编码的一个特例,ICA响应也是稀疏的,因此将该方法称为基于相关稀疏特征选择的目标跟踪方法。本方法的创新点在于,第一次将稀疏编码这一无监督的学习方法用于目标跟踪中的外观建模。相比于硬编码的特征而言,本文提出的基于学习的方法更符合自然图像的统计规律,也能更好地适应跟踪场景的变化。　　基于判别稀疏编码和金字塔表示外观建模的目标跟踪本文上一个提出的方法,虽然利用了ICA这一学习方法,但仍然是从信号统计的角度分析问题。本文进一步将神经科学理论模型与机器学习方法相结合,提出了一个生物启发的外观建模方法。该方法模拟了视觉信息通过视网膜经主视觉皮层的简单细胞到复杂细胞的响应过程,共包括五层,预处理层、编码层、修正层、归一化层和聚集层。除了预处理层、修正层和归一化层均采用神经科学成熟的操作外,本文工作侧重于编码层和聚集层。特别是为了提高所建立外观模型的判别能力,在编码层,使用判别的稀疏编码来编码局部的图像块,使得编码的系数能够对来自目标图像和背景图像的图像块进行有效地区分。在聚集层,为了从局部的编码系数得到目标图像全局的特征表示并保存局部编码系数在全局上的空间关系,提出使用多尺度的空间金字塔表示来对局部的编码系数进行聚集操作,最终得到的特征表示从局部和全局两方面保证了其判别性。本方法的创新点在于,借鉴神经科学领域对大脑视觉信息的响应机制,结合机器学习中的判别学习和空间金字塔表示,为目标跟踪提出了一个生物启发的外观建模框架。