基于视觉感知的场景理解能够将视觉数据转换为具有语义的信息,使计算机获得描述与概括视觉图像场景的能力。其中,图像分割和目标检测是视觉场景理解中两大关键性技术,能够从一定程度上排除物体间的遮挡干扰,识别出场景内的物体并得到它们的位置。然而,在真实应用场景中,复杂光照、硬件等条件以及遮挡和视角变化等因素,极大影响了样本的质量。此外,由于部分场景较为复杂,难以获取到充足的样本,也对基于机器学习的视觉算法提出了严峻的考验。因此,研究面向场景理解的图像分割与目标检测方法具有重要的理论和现实意义。本文以视觉场景理解为研究背景,从图像分割与目标检测入手,对自然图像的无监督分割、RGBD图像的语义分割和图像目标检测及其应用进行研究,具体如下:·针对自然图像的无监督分割,基于关联图的分割算法中,关联图的混合原则通常依赖超像素的面积和相似度等经验论。但由于超像素特征在不同尺度上变化较大,难以根据特征中简单的“表征”准确定义局部和全局节点。这类算法中常采用的线性关联图,始终不能充分利用多尺度超像素间非线性的结构信息。为了解决上述问题,本文提出一种自适应混合关联图框架,能构造出具有高分辨力和非线性的混合关联图。首先,该框架利用基于多尺度超像素的子空间追踪算法,生成多尺度超像素的子空间保持。其次,根据这些子空间保持,该框架利用稀疏子空间聚类筛选出关联节点,以建立超像素间的关联,并自适应连接不同属性的关联图。然后,通过一种新的核谱聚类方法,该框架构建了一个核谱聚类图来研究这些关联节点之间的非线性关系。接着,构造每个尺度上所有超像素的邻接图,并更新关联节点处的核谱聚类图。最后,在不同尺度下建立混合关联图,并对混合图进行分割,得到最终的分割结果。该框架在BSD300,BSD500,MSRC和SBD数据集上进行实验,用以检验该框架的分割精度、效率和鲁棒性。实验结果表明,该自适应混合关联图具有良好的分割性能和较高的效率。·针对RGBD图像的语义分割,基于空洞/膨胀卷积的方法大多存在“网格化”问题,无法捕获到具有精确边界的小物体。而大部分编码器-解码器模型仅在编码器中处理成对的互补线索,而在解码器中却忽略了跨模态信息,易造成编码器和解码器的信息不均衡,训练时难以快速收敛。基于多任务学习方法的解码器大多在特定感受野的固定尺度下进行多任务蒸馏。然而,不同大小的感受野对多个任务的影响是不同的。为了解决上述问题,本文提出一种基于注意力机制的双编码器-解码器框架。该框架利用跨模态的互补信息,充分挖掘多任务学习中不同任务的关联性,结合迁移学习提升RGBD图像语义分割精度。首先,该框架在编码器中利用注意力多模态特征混合模块处理多层次的配对互补信息。接着,在框架中引入双分支解码器以有效地利用不同任务的相关性和互补性。在解码器的主分支中,该框架合并多个尺度不同的空洞卷积层提取多尺度上下文。该分支还受到另一个任务指引分支（如法向估计）的监督,以提高语义分割性能,来加快训练时的收敛速度。最后,通过任务迁移学习强化多任务关联性,本文提出一种更有效的两阶段训练方法,进一步提升语义分割的精度。在NYUDv2和SUN-RGBD数据集上进行实验,与最先进的RGBD语义分割方法相比,本文提出的方法具有显著优越性。·图像目标检测算法因光照变化、遮挡和硬件资源受限等问题,其精度和速度通常难以满足真实应用场景中实际检测需求。具体而言,早期的检测器大多依赖于传统的机器学习算法,但这些方法计算量较大,难以满足实时性和通用性等要求。目前基于卷积神经网络的目标检测方法都忽略了对光照变化进行针对性地分析。在真实应用场景中硬件资源受限的情况下,基于卷积神经网络的检测器,难以在保证检测精度的同时实现每秒30帧以上的实时检测速度,并且这些检测器的模型参数量也相对较大。针对真实应用场景中图像目标检测及其应用,本文提出一种端到端的轻量级检测框架,能够实现在硬件受限的条件下,具有实时检测速度且仍保持较高的检测精度。该框架包含一种轻量型骨干网络RFDNet,可以提高检测精度并降低计算成本。其次,利用RFDNet生成基于多尺度特征图的复合区域提议网络,并结合多层次位置敏感评分图和感兴趣区域池化层,以较少的计算冗余进一步提高检测精度。最后,在Image Net、Pascal VOC和MS COCO上验证轻量型骨干网络RFDNet的有效性。为了验证该轻量级检测框架在真实应用场景中的检测性能,本文在六个列车图像数据集上测试该框架的故障检测精度,效率和鲁棒性。实验结果表明,该框架能成功拓展到列车故障检测领域,实现了每秒38帧的实时检测,与最先进的检测器相比精度相当,但模型更小、效率更高。