论文部分内容阅读
OSVOS算法是一种常用的视频单目标前景提取算法。该算法简化了深度学习样本标签数量,在视频单目标分割上取得了较好的分割效果,但其在目标提取过程需要提供真实掩码标签,真实掩码标签的获取效率低,因此该算法不能直接应用于实时性要求较高的系统。此外,在光照变化、遮挡、相似目标干扰等复杂场景下,OSVOS算法存在目标分割不完整、轮廓定位不精准等问题。本文以OSVOS算法为基础,结合交互式目标选择算法实现单目标前景的实时提取;然后,在视频前景分割网络中加入并行的轮廓提取分支网络,实现单目标前景的精确提取;最后,通过结合实例语义信息和目标重识别实现多目标前景实时、精确提取。本文主要研究工作包括:1、基于OSVOS的单目标视频前景提取。首先,针对OSVOS算法在进行视频目标分割中需要额外提供真实掩模标签的问题,设计了一种简单交互式视频目标提取算法(Inter-OSVOS算法)。将交互式分割结果作为标签输入到分割网络,在保留OSVOS算法性能的情况下实现视频特定目标的快速提取。其次,针对Inter-OSVOS算法目标定位不足的问题,提出改进的Inter-BS-OSVOS算法。在分割网络中增加互补的轮廓分支网络,训练该分支网络提取目标轮廓,通过进行超像素对齐和轮廓恢复,实现前景目标的精确定位。最后,利用CDNet2014数据集和DAVIS2016数据集进行训练和测试。结果表明,Inter-OSVOS算法与OSVOS算法在提取单目标在精确度方面几乎无差异,且适用于实时获取。Inter-BS-OSVOS算法对复杂场景视频有更好的鲁棒性,相比OSVOS算法和Inter-OSVOS算法,其在提取目标的轮廓精确度上有了明显的提高。2、基于OSVOS的多目标视频前景提取。针对Inter-BS-OSVOS算法在进行多目标前景提取时提取目标不完整和精确度低等问题,提出OSVOS-ReID算法。在Inter-BS-OSVOS算法的基础上,引入实例语义分割,将像素精确到每一个实例上,再加入重识别模块检索丢失和新增的目标,实现特定场景视频的多目标精确提取。然后,利用CDNet2014数据集和DAVIS2017数据集进行训练和测试。实验结果表明,OSVOS-ReID算法对复杂场景的鲁棒性、提取目标的精确性以及提取目标边缘精准度上相比同类算法有明显提高。