受到镜头成像机理的限制,可见光成像方式无法有效地进行全天候工作,而红外成像模式以其独特的优势弥补了可见光的不足,得到了广泛的应用。但是红外图像易受到背景噪声和杂波影响,因此制约了红外图像目标检测质量的提升。本文针对红外图像小目标的检测与跟踪问题开展了研究,基于空间域与时间域显著性特征提取算法进行相应的改进,提出了基于时空显著性融合的红外目标检测与跟踪算法。改进算法提高了红外图像弱小目标检测的鲁棒性,在此基础上,改进了可见光目标识别的网络模型,实现了基于卷积神经网络的红外目标识别。本文首先对经典的红外目标检测算法进行研究,从红外图像的基础数学模型入手,介绍了两种常用的红外图像背景抑制算法后选择采用视觉显著性注意力模型来进行红外目标检测。本文提出了一种双通道特征谱残差方法,以提取红外目标的空间域显著性。首先利用了轮廓波分解系数中的显著性,提出对轮廓波各个方向子带上的系数进行最大中值滤波。在分形维数变换到傅里叶频域上后,对分形维数和原图像进行谱残差运算(SR),最终生成图像在空间域上的显著图。对于红外图像的时间域显著性,本文提出一种基于光流的红外目标运动信息提取方法。在背景和小目标同时存在运动时,利用背景运动光流场对图像进行反向映射,从而提取小目标运动信息,获得其时间域上的显著性。本文提出了加权动态求和及相乘算法结合的时空显著性融合新规则,将改进的谱残差与红外小目标进行乘法融合,筛选运动的空间域显著目标,与相邻帧帧差进行动态加权加法融合,保证了算法的稳定性。在检测结果上本文算法的查全率和查准率要高于其他几种红外目标检测算法。对于红外目标识别问题,本文设计了一种适合红外目标的卷积神经网络结构。首先通过人工标注构建了包含7类的红外目标数据集和测试集,完成了网络训练及测试,结果表明改进后的网络结构提高了图像训练时的效率并且在准确率上有所提升。实验结果显示,本文提出的时空显著性目标检测与跟踪算法可以在保证鲁棒性的前提下,使得红外目标检测准确率提升,能够稳定的实现红外视频序列中弱小目标的检测与跟踪。