论文部分内容阅读
为了更有效找到商品与用户的匹配,个性化广告推荐根据用户的相关信息,对每个用户实施不同的商品推荐。为了更好的展现商品,个性化的创意性广告需求量大增。但是个性化的创意性广告的制作,需要大量的素材图片,其中包含去除背景的商品图。通常人工图像抠图需要几分钟到几十分钟,为了减轻和替换大量的人力劳动,自动化商品广告制作可以带来很大的收益。
本文提出以非人商品图抠图和人物商品图抠图两个分支,来解决自动商品图抠图问题。非人商品图抠图采用显著性物体检测来提取图像中的商品,提出渐近特征抛光网络(Progressive Feature Polishing Network,PFPN),此方法利用了一个简单有效的特征抛光结构,以递归的方式逐步改进多级特征,使其更加准确和具有代表性,最后提高预测结果的语义准确性和细节精细度。并且在5个通用开源显著性检测数据集上,指标平均绝对误差(MAE)、F度量和S度量超过了其他16个前沿显著性检测方法,同时在真实非人商品数据集上的测试结果通过率达到了70%。
人物商品图抠图采用两阶段的方式:语义分割和基于分割的图像抠图,此方式首先在真实分割数据集上训练得到分割结果,然后在合成抠图数据集上,以分割结果和原始输入图片作为抠图模型的输入,对分割结果的细节部分做优化,得到最终的抠图结果,这样解决了抠图数据匮乏的情况下,将抠图能力从合成数据迁移到真实数据上。其中,分割模型采用多尺度并行结构和池化金字塔模块,使得特征保持高空间分辨率的情况下,大幅扩大模型感受野,得到语义上更准确且分辨率更高的分割结果。抠图模型基于分割结果做边缘细节优化,对特征采用索引下采样和上采样,避免细节信息被平滑掉,且对细节有更好地保留;损失函数采用全局误差、局部误差、Gabor误差和合成误差,使得全局语义保持的情况下,同时优化边缘细节。
本方法为自动化商品抠图提供了一个有效的解决方案,降低了抠图的人力成本且提高了抠图效率,同时扩大了商品素材的可用范围,促进了自动化创意广告生成。
本文提出以非人商品图抠图和人物商品图抠图两个分支,来解决自动商品图抠图问题。非人商品图抠图采用显著性物体检测来提取图像中的商品,提出渐近特征抛光网络(Progressive Feature Polishing Network,PFPN),此方法利用了一个简单有效的特征抛光结构,以递归的方式逐步改进多级特征,使其更加准确和具有代表性,最后提高预测结果的语义准确性和细节精细度。并且在5个通用开源显著性检测数据集上,指标平均绝对误差(MAE)、F度量和S度量超过了其他16个前沿显著性检测方法,同时在真实非人商品数据集上的测试结果通过率达到了70%。
人物商品图抠图采用两阶段的方式:语义分割和基于分割的图像抠图,此方式首先在真实分割数据集上训练得到分割结果,然后在合成抠图数据集上,以分割结果和原始输入图片作为抠图模型的输入,对分割结果的细节部分做优化,得到最终的抠图结果,这样解决了抠图数据匮乏的情况下,将抠图能力从合成数据迁移到真实数据上。其中,分割模型采用多尺度并行结构和池化金字塔模块,使得特征保持高空间分辨率的情况下,大幅扩大模型感受野,得到语义上更准确且分辨率更高的分割结果。抠图模型基于分割结果做边缘细节优化,对特征采用索引下采样和上采样,避免细节信息被平滑掉,且对细节有更好地保留;损失函数采用全局误差、局部误差、Gabor误差和合成误差,使得全局语义保持的情况下,同时优化边缘细节。
本方法为自动化商品抠图提供了一个有效的解决方案,降低了抠图的人力成本且提高了抠图效率,同时扩大了商品素材的可用范围,促进了自动化创意广告生成。