目标识别与跟踪是当前计算机视觉领域的研究热点之一,主要实现对目标类别的判断和持续定位,在军工和民用领域均具有十分广泛的应用前景,其中军工领域包括航天照片的自动判读和武器的精确制导等,而民用方面包括工业机器人手眼系统和生物智能识别等。随着应用场景逐渐复杂化,对目标识别和跟踪算法的要求不断提升。这种高要求一方面体现在对算法的准确度和鲁棒性上,特别是当目标发生形变、遮挡、相似物体干扰等情况时,目标和背景会变得难以区分。另一方面体现在算法的适应性上,特别是在需要全天时全天候进行目标探测的军事和安防领域。目前,与具备海量学习数据的可见光图像相比,红外目标的学习数据较少且缺乏颜色纹理等图像特征,这使得红外目标的识别和跟踪更加困难。本文主要围绕可见光及热红外图像在识别和跟踪算法中的目标外观建模问题,在稀疏理论基础上继续探索和研究,采用多种结构稀疏编码方式更加灵活地对目标建模,研究内容主要包括以下几个方面:(1)将结构稀疏理论与目标识别、跟踪的实际应用相结合。通过控制字典的结构及表示空间样本之间的潜在关系可以求取非零元素具有特殊性质的结构稀疏解,这种编码方式在识别和跟踪中能够引入更多数据本身的先验信息,提高表示模型的灵活性和可靠性,为本文的后续研究奠定了理论基础。(2)提出一种数据驱动的自适应局部结构稀疏表示模型,并将其用于处理识别过程中目标的局部变化,解决观测信号中的非高斯噪声干扰。通过分析待识别图像不同局部块的受污染程度对其进行自适应降噪,然后再对去噪后的图像块进行稀疏表示,显著提高了目标识别精度,同时实验结果证明该模型可有效用于跟踪前的目标识别捕获。(3)提出一种基于多任务学习的局部加权反向联合稀疏表示模型用于视觉目标跟踪,并根据表示系数的结构信息对候选目标进行相似性度量。采用多任务学习对多个模板进行联合稀疏表示以排除异常模板的干扰,同时将不同模板的时空信息加入到目标的外观建模中,最终的实验结果表明本方法对反向稀疏跟踪模型具有显著提升,与其他最新跟踪器相比具有更好的跟踪性能。(4)提出一种基于掩膜的结构稀疏表示模型用于热红外目标跟踪中,将目标高层次的语义特征与稀疏表示相结合,使得在稀疏重构时可以优先考虑热红外目标中与背景更具判别性的区域,并利用这部分区域的表示结果引导与背景区分性较差区域对模板子集的选择。该模型在热红外目标跟踪中可以有效削弱目标外观变化和背景杂波对目标建模的影响,在VOT-TIR2016数据集上具有优异的跟踪性能。(5)提出一种自下而上与自顶向下的集成框架用于在线目标跟踪。短时跟踪器与长时跟踪器通过协同工作可以处理在线目标跟踪中的目标外观变化,同时提升跟踪效率。其中自下而上部分由短时跟踪器构成,通过数据驱动的方式在输入图像中产生感兴趣区域;在自顶向下部分,通过设计一种图引导的结构稀疏表示模型,在线学习各个感兴趣区域间的高层感知关系,进而对它们进行似然估计。这种跟踪框架充分利用了长时/短时跟踪器的优势,在在线目标跟踪任务中取得了良好的效果。本文从不同角度提出4种算法对识别和跟踪过程中的目标建模问题进行探索,实现了从目标识别捕获到持续定位的视觉任务。此外,本文这四种算法在多个公开数据集上进行验证实验和对比实验,实验结果表明其具有优异的性能。