论文部分内容阅读
随着摄影硬件与网络技术的发展,个人相册和网络相册包含的数字图像数目呈现爆炸性增长,对图像处理技术提供了新的机遇和更高的技术要求。对象提取(object cutout)的目标在于将目标对象与图像背景精确地分离开来,同传统的基于像素级别的图像分析相比,对象提取需要更多的对图像语义的理解。对象提取在影视后期处理、医学图像分析、虚拟现实、基于语义的图像和视频标注、智能视频监控、物体跟踪等领域也有着广泛的应用。
本文首先从一个新颖的角度对主流对象提取算法进行分类,针对这些方法中的不足,从四个方面深入研究对象提取技术。本文的创新点可归纳如下:
(一)提供了一种新颖的对目前已有的对象提取算法的分类方法。近年来,对象提取研究领域涌现出大量的文献,然而,一直以来缺少一个统一的框架对相关工作加以综述。本文从用户监督信息的类型的角度,提出目前主流的对象提取算法可以分为无监督、半监督、有监督以及主动式对象提取四种范型。
(二)提出了一种针对图像对(image pair)的共分割(cosegmentation)算法。传统的基于单幅图像的自动式对象提取技术普遍存在着精度差的问题。在研究中发现,仅仅增加一张辅助图像就可以显著提升算法的性能。作为全部的输入信息,图像对中的两幅图像应包含相似的目标对象(可以具有不同的光照成像条件、物体姿态、缩放尺度、遮挡等),以及差异性较大的图像背景。共分割的优化准则在于,同时增强两幅图像中前景区域直方图的相似性以及背景区域直方图的差异性。本文讨论了一种交替优化的策略,能够迅速收敛到某个局部最优解。
(三)提出了一种基于连通距离(connectivity distance)的直推式(transductive)对象提取算法ConnCut。传统的交互式对象提取方法通常假设像素的颜色信息服从某种概率分布,而直推式算法则通过直接的传播过程避免了不合适的概率假设引起的误差。并且,不同于传统的基于局部L2测度的邻接像素距离计算方法,ConnCut基于图中通路来计算两个互相远离的像素的距离。某条通路的有效距离定义为最长边的数值,进一步的,连通距离被定义为所有通路的有效距离的最小值。对于图像中存在多个不同的目标物体,或者细长型的物体部件时,ConnCut表现出更好的性能。
(四)提出了一种基于类别先验知识的对象提取算法HumanCut。算法的目标在于智能地从个人相册的风景照片中提取正面直立人像。HumanCut算法可以划分为两个前后相继的阶段:人体检测和像素分类。在人体检测阶段,本文首次将局部二值模式算子(LBP)引入该问题的研究之中,并提供了与传统的局部特征算子的对比实验。同时,为了弥补颜色信息在像素分类的不足,本文提出了线段马尔科夫网络和半椭圆特征,可以对目标物体类别的轮廓先验信息进行建模和使用。
(五)最重要的,本文首次提出了主动式对象提取的概念,并设计了一种实用性的算法ActiveCut。传统的交互式对象提取算法仅仅消极地接受用户输入的笔画信息,而不去检查这些笔画是否能够完整地反映了用户的真实意图。与此相反,ActiveCut采用了主动学习的思想,首先进行上述检查,计算在当前输入下图像像素的状态的不确定性,进而估算在图像何处添加新的笔画可以最大限度地减少这些不确定性,最后以直观的形式将这些信息反馈回用户,以指导用户的下一步交互。通过采用SP—Lattice数据结构和变分近似技巧,ActiveCut可以实时交互运行,而基于亚模(submodular)函数理论的分析揭示了ActiveCut算法的性能下界。