论文部分内容阅读
视频背景替换技术是指从视频序列中提取前景信息并将其融合到新背景中的过程,在图像处理和视频编辑领域占有重要地位,具有较高的研究价值和较广的应用空间。视频背景替换技术的核心算法分为视频抠图和图像融合两个部分,然而早期方法存在严重的限制和缺陷,其主要表现为:早期抠图算法限制背景和约束特定拍摄环境进行交互式绿幕抠图,极大限制了拍摄背景、增加了制作成本、锐减了抠图速度;早期图像融合算法对于前景信息丢失严重且缺少数据化评价标准,直接导致融合图像失真,人物颜色虚假。因此,如何减少视频抠图成本、改善视频抠图质量、提高图像融合效果是本课题的主要研究方向。本文通过对现有图像分割和图像融合技术进行研究改进,提出并实现了改进Deeplabv3+算法和改进Poisson Editing算法,分别用于解决现有的视频抠图和图像融合问题,并联合视频风格迁移算法在终端设计实现了视频人物背景替换系统。主要研究如下:(1)改进了现有的Deeplabv3+算法。首先,利用多方向梯度下降改进现有的Canny边缘检测算法,然后在Deeplabv3+网络中引入改进Canny边缘检测算法从而形成双层边缘,由此提出本文改进分割算法核心技术边缘校正通道,利用该边缘校正通道有效去除Deeplabv3+算法分割结果中存在的错误背景部分。该算法在Supervise.ly开源人体分割数据集上进行仿真,分割重叠率为91.98%,假阳性率为4.88%,仿真结果表明该算法有效的降低了假阳性率,提高了Iou(Intersection over Union)。(2)改进了现有的Poisson Editing算法。首先,在前景分割结果Mask图进行图像膨胀操作,在保留边缘信息的同时形成前景边界保护域,然后对前景和背景进行泊松编辑,同时引用了量化指标PSNR(Peak Signal to Noise Ratio)和SSIM(Structural Similarity Index)进行评价判别。开源真实数据集仿真实验显示,改进算法相较于原Poisson Editing算法在PSNR和SSIM指标上分别获得了0.38dB和0.095的提升,仿真结果表明改进算法在融合图像的同时有效平衡传播的前景和背景信息,提高人体图像融合的主观视觉感受。(3)结合本文算法和图像风格迁移style transfer算法,设计并实现了一整套视频人体背景替换系统,系统功能包含视频的前景分割、背景替换和风格变换等。