论文部分内容阅读
近来,深度学习在图像处理领域表现出了强大的解决问题的能力,比如灰度图着色,图像增强,图像分类,图像检测,图像补全和风格转换等。由于彩色图的信息丰富度更高和价值更大,灰度图着色一直是图像领域的研究热点。目前的着色方法主要分为用户指导着色,基于示例的半自动着色和全自动着色,但传统算法着色存在效率低下、着色效果不理想等问题,且当前已有的着色交互方式存在操作方式困难、用户难以控制着色结果、难以找到合适参考图等问题,难以投入到现实应用中为用户群体带来实际意义。因此,随着人类对用户体验要求的不断提高,以及深度学习在图像处理上展现的影响力和作用,研究基于深度学习的图像着色算法具有非常实际的意义。针对当前深度学习的发展状况、已有理论及研究成果,以及综合已有着色方法的优缺点和局限性,本文提出了一种新颖的基于深度学习的可交互图像着色方法,主要工作内容有:(1)提出了结合全局输入与局部输入的着色交互方式,搭建了可以同时训练两种着色输入的网络模型,设计了合适的损失函数同时约束两种用户输入,实现了可以单独或同时使用两种用户输入的着色交互方法,并通过输入相关辅助信息来保证着色结果的高质量,同时,通过实验验证了该算法的合理性和有效性。(2)本文运用残差学习的思想,在着色模型中加入残差网络模块,通过学习一个残差映射来修正原始模型的输出,进一步提高着色效果。(3)本文将基于深度学习的着色算法嵌入到着色系统原型中。在该原型上可以进行全局输入着色和局部输入着色的可视化操作,并通过该原型进行了一些列关于着色方式及结果的用户研究,进一步结合理论与实践,验证了本文着色方法的有效性和应用意义。(4)使用包含广泛类别的图像数据集,其中包含物体图像,如蝴蝶、鸟类,和风景图像,如山川、建筑,并对输入信息进行预处理,使得网络模型可以对多数类别的图像进行很好地着色。