基于深度学习的无参考图像着色研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jaiky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字经济的蓬勃发展,人们越来越多地使用图像作为记录生活和传递信息的载体。色彩作为图像的重要属性之一,可以让图像的呈现更为真实和生动,给人们带来丰富多彩的感知和体验。图像着色是为灰度图像自动生成颜色的技术,在动画制作、旧照片修复、可视化增强等方面有着广泛的应用,一直是计算机视觉领域的研究热点。无参考的图像着色作为一种典型的病态任务,具有明显歧义性,然而现今大多数研究方法都只能生成单一的着色结果,且各区域之间的颜色缺乏空间一致性,容易出现颜色溢出、颜色混杂等情况。针对这些问题,本文研究了基于深度学习的无参考图像着色技术,研究内容主要包括:1.提出了一种基于VAE-GAN和混合密度网络的多样化图像着色方法,其中VAEGAN用于学习图像的颜色域表征,混合密度网络则基于习得的表征去建模完整的颜色分布,从分布中采样再利用VAE-GAN进行解码即可实现多样的着色结果。VAE-GAN通过对抗损失以及GAN判别器上的感知损失进行联合训练,相比传统的VAE模型,能够学习到更好的颜色域表征,并在重构颜色时保证空间一致性,实现更为准确真实的着色效果。2.上述着色算法适用的图像分辨率不高,且需要分两个阶段进行处理,流程比较繁琐。通过比较着色任务和语义分割任务的相似性,本文对色域空间进行量化,将着色任务转化为逐像素的分类问题,构建了一种基于U-Net和自注意力机制的端到端着色模型。模型在U-Net编码端和解码端特征融合之前引入注意力模块进行处理,充分建模各区域之间色彩的关联性,以此改善着色的空间一致性,采用带权重的交叉熵损失进行训练,结合模拟退火从概率分布中得到最终的颜色,实现了高质量的端到端着色。
其他文献
超薄平板热管(UFHP)是抽除密封腔体中的不凝性气体后,充注某种工质构成的传热元件;其传热能力强、均温性好,适用于散热和等温性要求高的设备。超薄平板热管目前朝着更加超薄化方向发展,在变薄的同时其传热性能急剧衰减,为保持其良好的传热性能,其热质传递机理研究尤为重要。本文对腔体厚度为1mm、水平放置的120-200目烧结芯和三层丝网芯超薄平板热管进行可视化实验,得到其在不同热负荷下传热性能、启动特性以
水凝胶凭借诸多优良的理化性质以及对外界刺激的微小变化的高度敏感性,在许多领域都备受关注,具有很高的研究价值与应用前景。虽然水凝胶的力学性能和力学行为始终是学者们关注的重点,但大部分的研究工作都是围绕水凝胶材料的单轴加载展开的。而单轴加载变形仅为水凝胶所有可能发生的变形中的一种特例,并不足以对水凝胶材料的非线性特征进行完备的描述。此外,在实际应用中,水凝胶常在复杂应力状态下服役,因此,研究水凝胶在多
随着信息技术的普及,推荐系统早已被认可为解决信息过载问题有效而强大的工具。相对于传统推荐算法,会话推荐算法利用了用户行为的时序信息,更能有效建模用户的兴趣偏好,因而成为当前推荐算法的研究热点。当前会话推荐算法主要有两个问题:一是时序信息提取不足,尤其是缺乏物品的时序特征提取;二是较多考虑序列数据的线性关系,而缺少物品间转换关系的分析。针对以上两个问题,本文基于用户的历史会话数据,结合图神经网络、注
三维目标检测技术作为自动驾驶感知层的核心组成部分,为自动驾驶汽车决策控制提供了安全保障。本文以道路交通环境下车辆的三维目标检测方法为研究对象,针对目前基于激光雷达的三维目标检测方法成本高、基于视觉的方法计算量大的问题,提出了一种低成本的双目视觉实时三维目标检测方法。论文提出了利用双目立体匹配算法将双目图像转化为具有三维空间结构的伪点云,再利用点云三维目标检测算法进行车辆检测的技术路线,并开展了以下
为适应新时代“碳达峰、碳中和”目标,促进我国电力现货市场进一步建设,前瞻优化发挥着重要作用。前瞻优化通过扩展优化的时间范围,促进了资源在更长周期的高效配置,提高了模型求解的成功率,同时赋予了出清电价跨时段的经济意义。本文首先介绍了电力现货市场前瞻优化的基础内容,从集中式电力现货市场运营规则、市场出清计算和结算模式三方面进行展开。其次,本文构建了前瞻周期的偏差量模型,并详细定义了模型中各类分量,描述
锡基负极材料具有较高的理论比容量、适中的嵌-脱锂电位和低廉的价格,是最具前景的锂离子电池高性能负极材料之一。同时,锡基负极也是最早实现商用的非碳负极材料。2005年,Sony公司推出了以非晶Sn-Co-C三元合金为负极的“Nexelion”电池,其较同型号石墨负极锂离子电池体积比容量提升了30%,但300次循环后的容量保持率仅为60%。此外,近年来,市场对高能量密度和高安全性的锂离子电池的需求越来
细菌等微生物在设备的表面生长、富集并形成生物垢,这严重影响了海洋工业、生物医疗、电子设备以及其他领域的发展。目前,使用含杀生剂的防污材料是最有效、经济的方法,但随人们环保意识的提升和严格环保法规的实施,研制环保、高效的防污材料刻不容缓。有机硅防污涂层是一种环保材料,以其优异的污损脱附能力受到了青睐。但有机硅材料本身污损阻抗能力弱,而且其力学性能差,容易在服役过程中遭受破坏。在本论文中,针对传统有机
锻造复合材料模压法是碳纤维零部件的新型快速成型技术,具有工艺简单、成型效率高、可制造复杂形状等优势。预浸带的高效切断是锻造复合材料模压成型法的关键,但是预浸带短切加工对象同时含有脆性高硬质碳纤维和粘性环氧树脂基体。刀具-碳纤维间的切削力场、刀具-环氧树脂间的流场、刀具-碳纤维间摩擦产生的温度场等多场协同作用下,切削环境变得更加复杂。因此,为解决碳纤维切割过程中的切割力大、磨损快等问题,本文提出织构
心理压力在现代社会越来越普遍,而且对人们的生活和心理健康的影响越来越大,需要及时地发现和调整。因此,压力检测具有重要的研究意义。传统的基于生理信号的压力检测方法依赖于设备对生理信号的采集,应用场景受限。近年来随着生活中越来越多的无接触摄像机的部署和数据收集分析技术的进步,基于图像的压力检测方法得以发展,但应用部署时仍然存在以下几个问题:人工提取面部特征和使用较浅层的机器学习算法无法充分提取压力相关
城市地下空间的开发利用和商业建筑公共空间的兴起,推动了下沉广场在商业建筑中的应用。商业建筑下沉广场有效利用城市地下空间,起到联系周围空间的节点作用,有利于实现地面建筑、地下交通和地下商业的融合设计,作为商业区人员户外活动的场所,面临着高温和辐射带来的热舒适问题,特别是在湿热地区,营造舒适的物理环境,能够改善人们的购物体验,为商业建筑带来附加的经济效益。然而,目前关于商业建筑下沉广场微气候的研究较为