论文部分内容阅读
图像分割是计算机视觉的热点研究问题。随着硬件计算能力的提升,基于深度学习的图像分割算法在影视特效、智能广告设计等领域被广泛用于目标物体提取。为了在智能设计中带来更好的视觉观感,高精度的图像分割算法是必不可少的。图像分割算法为图像每个像素预测一个离散的语义标签,可用于提取图像中具有硬边界的目标物体,并合成到新背景中。但这并不能满足所有的需求。例如,对于包含运动模糊、毛发细节、半透明物体的图像,图像分割算法得到的硬分割结果合成到新背景后过于生硬。因此需要高精度软分割算法来解决该问题。图像抠图算法使用trimap作为先验信息,为每个像素预测一个浮点类型的前景透明度值作为软分割结果,能够精细地提取出前景物体。但此类方法自动化程度低,设计一个全自动高精度图像抠图算法是相关工作中亟需解决的问题。本文首先提出了一个基于错误预测的图像分割算法,该方法为给定的分割网络预测错误并纠正错误,从而达到提高分割精度的目的。该方法包含两个阶段:(1)首先为给定分割网络的分割结果预测每个像素的错误概率;(2)为错误概率高的像素重新预测语义标签;(3)融合初始分割结果和重预测结果。其中,错误预测被建模成一个分类问题,在网络中使用一个错误预测分支来预测初始分割结果中像素错误的概率。而后使用另一个分支,细节分支,来预测新的语义标签。细节分支只针对错误概率高的像素进行训练,使其具备纠正错误像素的能力。本文在公开数据集上对本方法进行实验验证,实验结果表明本方法可为多种分割网络进行错误纠正,其中在Cityscapes测试集上本方法mIoU达到了82.88%,比DeepLabV3+提高了0.74%.在全自动抠图算法中,可借助分割网络提取的语义特征及其产生的粗分割结果来辅助高精度抠图。本文提出的基于卷积融合的全自动抠图算法输入单张RGB图像,输出一个透明度蒙版(alpha matte)。该方法首先使用两个分割网络分支,为输入图像分别预测前景概率和背景概率,而后使用一个融合网络来融合两分支的结果。其中,通过损失函数的设计,两个分割分支预测的结果可分别看作alpha真实值的上界和下界。本文通过详细的实验验证双分支结构的有效性,并在公开数据集上同现有方法进行比较。在无需trimap的情况下,本方法在人像抠图数据集上超过了Deep Image Matting等现有先进方法。