【摘 要】
:
随着计算机视觉技术的不断发展,图像已经成为传递信息的重要媒介,如何从海量的图像数据中获取人们需求的高质量的图像显得尤为重要,图像修复作为图像处理中的关键技术,已经成为计算机视觉领域重要研究课题之一。近几十年年来,国内外学者基于数学建模等理论对图像修复做了深入研究,并尝试将其从实验推广到实际应用。然而,实际应用中图像受损区域复杂多变,传统图像修复算法难以完成高质量的修复过程。近年来,深度学习凭借其对
论文部分内容阅读
随着计算机视觉技术的不断发展,图像已经成为传递信息的重要媒介,如何从海量的图像数据中获取人们需求的高质量的图像显得尤为重要,图像修复作为图像处理中的关键技术,已经成为计算机视觉领域重要研究课题之一。近几十年年来,国内外学者基于数学建模等理论对图像修复做了深入研究,并尝试将其从实验推广到实际应用。然而,实际应用中图像受损区域复杂多变,传统图像修复算法难以完成高质量的修复过程。近年来,深度学习凭借其对图像数据的强大表征能力,在计算机视觉任务中被广泛应用,一些研究人员已经尝试将深度学习应用到图像任务中,提高了图像修复算法的生成高质量内容结构和纹理的能力。本文基于深度学习相关理论,提出了两种能有效处理规则和不规则图像修复的模型:提出了一种基于注意力机制的多尺度编码器的生成模型。该模型由两个基于编码器和解码器的网络构成,分别为粗糙修复网络和精细修复网络。传统基于深度学习的图像修复算法均采用的是单一感受野类型,这些算法通常会造成图像的伪影和生成不正确的内容结构。因此,在粗糙修复阶段,我们采用了三个平行的不同感受野类型的编码器对图像特征进行编码,从而提高模型对多尺度的处理能力。针对粗糙修复的结果,精细修复通过加入了内容感知层的机制进一步优化修复区域的质量。原始的内容感知层利用余弦距离衡量不同特征块之间的相似度,此方法会造成特征块误匹配的问题。针对这个问题,提出了利用绝对值衡量不同特征块之间的相似度,使模型能够正确进行特征匹配。我们在CelebA和Places2数据集上进行了测试实验,证明了模型的有效性。还提出了一种用于图像修复算法的多特征解码器网络。受益于如今庞大的数据集,我们将单阶段的生成对抗模型用于修复任务,其中生成网络是基于U-Net网络结构。在训练阶段,我们将受损图像和对应的原始图像共同作为网络的输入,并提取解码器阶段的多个不同的特征层,对每一个特征层对应的受损图像和原始图像的特征图执行L1损失并加入到整个模型的损失函数中共同训练生成网络,使得受损图像在解码器阶段修复特征更趋近于原始图像在解码器阶段的特征,从而提高最终的修复结果。另外,我们还改进了原始的U-Net的网络结构,在解码器阶段每一跳过连接层中结合了SE模块,增强了编码特征和解码特征通道之间的相关性,提高模型的表达能力。我们在CelebA-HQ和Places2数据集上进行了测试实验,证明了模型能够生成高质量的图片并优于如今大部分的修复算法。
其他文献
带钢作为一类重要的钢铁产品,其广泛应用于汽车制造、桥梁建筑、航空航天等支柱行业,保证其最终产品质量对于社会的发展和生活的改善具有重要意义。带钢表面损坏区域的数量、程度和分布是决定带钢质量的重要因素,基于计算机视觉的表面缺陷检测和分类方法能够很好地实现带钢表面缺陷的定位和识别,发现造成缺陷的起因,从而有效的保证带钢产品质量。带钢表面缺陷检测和分类的准确率及高速率主要依赖于其表面图像的高效表示,该文将
成像式心冲击描记术(imaging ballistocardiography,iBCG)是一种基于视频的非接触式心率测量技术,其通过视频提取受试者头部因心脏跳动导致的微弱机械运动信号,进而计算心率。由于该技术具有操作简便,成本低等特点,获得了研究人员的广泛关注。然而,由头部自主运动引起的刚性运动和由面部表情引起的非刚性运动很容易对iBCG的测量造成干扰。本文提出一种运动鲁棒的iBCG新方法(rob
随着现代社会的高速发展和城市化的加快,居民持有汽车的数量在急速的增长,在给人们带来便利的同时,由于道路车辆过多、道路和安全意识匮乏等诸多原因,车辆行驶安全问题日益突出,交通安全形势严峻,正逐渐成为人们关注的焦点。所以,人们寄希望于将现代高科技技术应用在车辆上,从而降低事故的发生率,智能交通系统由此诞生。汽车生产商将此系统与车联网技术的使用,具有解决交通安全问题的可能,并且拥有广大的市场和美好的发展
在人们快节奏的生活模式下,心血管类疾病发生的概率大大增加,已成为威胁人们身体健康的主要因素之一。心率,作为一种身体机能反馈指标,在心血管疾病的预防和诊断中都发挥着极为重要的作用。对于心率的测量,人们在很长一段时间内依赖于传统的接触式方法。但是,在连续监测过程中,接触式会带来活动受限和皮肤压迫等弊端,因此在动态心率监测和特殊人员护理等方面实用性不足。近年来,成像式光体积描记术(Imaging Pho
群组行为识别是计算机视觉领域中一项具有挑战性的任务。与传统的个体行为识别相比,群组行为识别不仅需要理解场景中个体的行为,还需要推断个体之间的潜在交互关系。准确捕捉场景中的时空信息,并对个体间的交互关系进行推理是理解群组行为的关键。本文在总结现有群组行为识别方法的基础上,考虑个体行为理解对群组行为识别的重要性,致力于构建灵活有效的交互关系推理网络,主要解决群组行为识别任务中以下几个问题:第一,考虑个
大力发展光伏(Photovoltaic,PV)发电可以缓解我国目前面临的能源短缺、电力供应不足以及环境污染等问题,独立光储系统不依赖电网运行,在无电或频繁停电的场所得到了广泛应用。在光储系统运行过程中应保证瞬时功率平衡、系统稳定、安全运行,因此如何有效地解决光储系统功率分配和能量管理控制问题依然迫在眉睫。本研究选择将超级电容(Super Capacitor,SC)与全钒液流电池(Vanadium
条纹投影轮廓术作为一种非接触式三维测量技术,因其高速、高精度以及高鲁棒性测量能力而广泛应用于工业诊断、视觉导航,医学诊断等众多领域。高速,高精度的测量是条纹投影轮廓术的最终目标。然而,提高测量速度,特别是在不降低测量精度的情况下,是条纹投影轮廓术发展中存在的一个巨大的挑战。并且条纹投影技术在新领域单像素测量领域应用较少,而单像素测量在非可见波段有优秀的表现,将两种技术结合进行测量的方法值得深入研究
柔性力学传感器由于具有随形性、延展性等特点,其在可穿戴电子、服务型机器人等新型领域上具有较大应用潜力,从而成为当前研究热点之一。碳系导电高分子复合材料符合柔性力学传感器良好体表共形要求兼具成本优势被大量应用。利用实验手段来探究碳纳米管和石墨烯共混对传感器电学性能上的提升难以揭示它们行为的物理规律。通过建立数值模型或解析模型才可以准确探究粒子微观参数与材料宏观参数间的联系。本文创新的通过建立适合于三
聚氨酯是一种具有广泛用途的高分子材料,国内的聚氨酯消费总量占据全球的半壁江山,聚氨酯的化工生产在旺盛的市场需求下具有巨大的市场潜力。近几十年中国聚氨酯生产技术发展迅速,生产规模显著扩大,但是随之产生了生产现场分散管理困难和生产数据的“信息孤岛”等问题限制了企业的进一步发展。搭建统一的生产数据中心,设计可以集中监控生产现场和查询统计生产数据的信息系统具有重要意义。课题组之前为安利公司开发了一至三期聚
随着机器视觉在自动化生产领域的广泛应用,在测量和装配设备中加入视觉系统,根据视觉定位的结果引导设备执行后续任务,对提高设备的感知和决策能力具有非常重要的意义。本文以机器视觉和图像处理技术为基础,主要对测量仪器及装配机械臂等设备的视觉引导及定位技术进行研究。对相机的成像原理及双目视觉成像模型进行分析,对张氏标定法进行了详细的推导,选取合适的相机与镜头设计并搭建了标准的双目视觉系统实验平台,通过标定实