论文部分内容阅读
随着短视频时代的到来,图像所承载的信息已不能满足人们对信息传播与社交的需求,人们进行创作编辑短视频已变得越来越常见。短视频编辑多集中于提取视频中的特定目标与元素,与其他场景进行融合进行二次创作。此类任务多使用专业编辑工具进行操作,同时也会带来使用门槛高,编辑时间慢等缺点。因此,利用人工智能方法进行辅助编辑,对降低使用门槛,优化操作有着非常重要的作用。针对视频中提取特定物体人物的需求,本文着力研究视频目标分割算法,旨在解决通过简单交互,自动化分割用户指定相应前景元素。对于二次创作环节下,简单将分割得到的前景物体粘贴至新背景会出现对比度失真,违和感等问题,本文对前后景和谐化算法展开深入研究,通过网络处理得到自然和谐的合成结果。本文的主要贡献如下:第一,提出了新型半监督目标分割网络,并将上一帧信息纳入网络输入补充时序信息,相邻两帧的相似性可以显著减少遮挡及形变带来的干扰。算法提取各个帧的特征后,将前景和背景像素进行分离距离匹配,改善了分割精度。通过引入困难样本挖掘的分支,网络有效的提高了边缘点与困难点的分割结果。最终网络经由一个轻量级光流模块完成了最终结果的稳定平滑。第二,提出了前后景和谐化算法。通过对掩膜信息的运用,本文设计前景背景分离学习模块,使得各自特征可以被分离提取学习。同时改良了损失函数,使得损失值不会因前景区域面积的不同而变化,提升了学习的鲁棒性。网络接受合成图像的输入,最终输出自然和谐的前后景结果。第三,设计实现了视频分割替换平台,用户可以通过简单的交互完成视频元素提取与自然场景更换等功能。