基于深度学习与Android平台的图像修复系统设计

来源 :深圳大学 | 被引量 : 0次 | 上传用户:yvonnechan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复作为数字图像处理中的一个重要分支,广泛应用在文物保护、刑侦、生物医疗、航空航天等领域。传统的图像修复方法存在图像块误匹配、块区域修复视觉效果较差等问题,深度学习作为一种新兴的工具,在提取特征上相比传统方法能够获得更深层、更加具有特定性的特征表示,已经在计算机视觉和图像处理领域中都取得了良好的效果。基于深度学习的生成对抗网络(GAN,Generative Adversarial Networks)能够学习图像已知区域的特征,这些特征可用于预测图像缺损区域,从而实现缺损图像的自我修复。但是GAN网络往往参数较多,运算量及占用内存空间较大,不利于应用在资源受限的嵌入式端。为了解决上述问题,本文完成了以下工作:(1)构建了一种参数较少、图像修复效果较佳的M-GAN(Mobile-GAN)网络。M-GAN的生成网络采用自编码器结构,并在网络中间层加入空洞卷积操作增大卷积核的感受区域,使网络学习到更多的图像特征,能够更加准确地完成图像修复任务;在不改变网络中标准卷积层输出特征的前提下,将标准卷积转换为深度可分离卷积,使生成网络的参数减少了50%左右;M-GAN鉴别网络由两个子网络组成:全局鉴别网络和局部鉴别网络,全局鉴别网络改善了修复结果的整体一致性,局部鉴别网络增强了缺失区域经修复后与图像整体之间的视觉合理性。在PC端通过实验选取合适的学习率,利用特定的训练集、有效的训练方法训练M-GAN网络,使网络较好地实现了自然场景图像随机区域缺失的修复,然后测试网络,将测试结果分别以主观和客观的角度,与典型的传统图像修复方法测试结果对比分析,证实了本文M-GAN网络具有更好的修复效果,解决了传统方法具有的图像块误匹配导致的内容错乱、块区域修复效果差的问题。(2)采用裁剪和量化两种神经网络压缩方式进一步压缩M-GAN生成网络得到精简图像修复模型Mobile-G。裁剪依据网络批量归一化层中的特征缩放因子,本文通过实验寻找到裁剪与网络输出精度损失的平衡,选取60%作为最终的裁剪率,有效地降低了网络冗余。为了进一步减小模型的空间,以满足嵌入式端的要求,本文将裁剪后的网络模型进行量化,使模型大小在裁剪后的基础上再缩减了75%。(3)将Mobile-G模型成功移植到Android移动端嵌入式平台,实现离线图像修复系统的设计。本系统操作简单方便,用户只需通过点击界面中“拍照”或“相册”按钮,调用设备摄像头或本地相册获取图像,然后系统会自动完成加载模型、随机抠图、数据转换与传递、执行模型运算、输出并显示修复结果等任务;经过测试,本系统能够低耗、快速地完成图像修复任务。本文对深度学习生成对抗网络进行改进,完成了视觉效果佳的图像修复任务,解决了传统图像修复方法存在的一些问题,同时减少了网络参数;然后采取裁剪和量化两种方式对网络进一步压缩;最后将压缩后的网络移植到Android平台,实现离线的图像修复系统。本系统能够低耗、快速地完成视觉效果佳的自然场景图像随机区域缺损的修复任务,对基于深度学习的图像修复研究及神经网络在资源受限的嵌入式平台的应用具有一定的参考意义。
其他文献
随着国内游戏产业的发展与硬件技术的提升,从八十年代起我国游戏产业开始逐渐摸索出自己的道路。在短时间内取得了一系列的成果。并在源头上对游戏制作环节进行整体的探索,逐渐重视技术与制作概念的创新,通过国内外优秀的游戏产品与制作概念交流,在目前的环境形势下,如何设计创作出具有中国特色与传承价值的游戏作品,并在外来游戏产品的强大实力下立足生存,是亟待解决的关键问题。本文试图研究水墨元素如何在游戏美术与制作环
新兴的物联网(Internet of Things,IoT)应用,如智能制造和智能家居,对提供低成本、高精度的室内定位和导航解决方案提出了巨大的需求。惯性测量单元(Inertial Measurement Unit,IMU)通常可以在较短的时间内提供较精确的位置解算,但是由于加速度计传感器存在测量误差的累积效应,其定位和导航误差随着时间的推移而迅速增加。另一方面,超宽带(Ultra-Wide Ba
艺术语言是创作者艺术表达的具体体现,能够代表创作的水平和画家的思想,版画创作中艺术语言的产生及演变是在众多因素共同作用下的结果。随着经济、政治等均实现了快速扩张发展,艺术、科学技术水平也在不断演进。新媒体、新文化以及新技术已融入到版画艺术里,使当代版画艺术不断呈现出新的表现语言与创作方法,给版画带来了新的机遇。在以往的版画展览中,某些传统版画的艺术语言较为局限,更新速度较慢,比较缺少与当代文化、当
近年来,语音识别技术在无噪环境下取得了突破性的进展,但在带噪环境下识别性能仍然存在下降的问题。因此,鲁棒语音识别研究受广泛的关注,如鲁棒语音特征提取、语音增强和鲁棒性声学模型等。鲁棒性声学模型是提高语音识别系统抗干扰能力的关键技术。然而,鲁棒性声学模型在实际应用中仍然存在很多有待克服的技术问题,譬如对未知噪干扰的泛化能力和对复杂应用场景的建模方案。为了解决这些问题,本课题从端到端的声学模型和深度神
近年来,无人机和机器人等无人智能设备迎来了快速发展,其与接收站实时共享机载传感器数据成为工业界的迫切需求。然而,由于奈奎斯特(Nyquist)采样率的限制和通信信道是极其有限。因此,亟需一种新的技术突破经典的奈奎斯特采样理论,而压缩采样正符合这种技术。压缩采样技术将采样和压缩过程合二为一,极大的减少了采集信号的存储空间。接下来,利用深度学习的方法对压缩采样数据进行数据恢复。由于深度学习卷积网络模型
动漫产业作为我国文化产业的重要板块,是国家近年来大力扶持发展的重点产业。我国动画水平曾立足于世界巅峰,却从20世纪80年代后逐渐落寞,崛起之路困难重重。2015年随着“IP时代”的到来,动漫产业乘着IP的风呈现爆发式增长,一度成为资本市场的宠儿,拓展动漫IP价值的需求不断涌现。与此同时,在互联网浪潮的推动下,跨界融合逐渐成为全球各产业主流的发展趋势,为动漫IP带来了前所未有的发展机遇。然而,由于我
人类行为识别是计算机视觉中一个重要的主题,行为识别既包括单人执行一系列动作以完成某项任务,也包括许多人分散在一个大的空间里,共同努力完成一个共同的任务,即群体行为。群体行为识别的一个典型的应用场景是体育视频理解,体育战术自动分析等关键技术,具有重要的应用前景和商业价值。但由于背景杂乱、个体之间的关系复杂等原因,使得面向体育视频的行为识别成为一个及其重要而又非常具有挑战性的问题。本文对体育运动排球视
随着第五代移动通信(The Fifth Generation,5G)时代的到来,人们对传输速率和通信可靠性有了更高的要求,对未来无线通信生活的多样性有了更多的期待。然而在“万物互联”的时代,无线通信业务需求呈现出的巨大增长趋势导致现有的技术不足以支撑海量的通信设备,因此在发展现有通信技术的同时部署新的系统对提高通信性能有重要意义。与此同时,为缓和移动通信过程中的能量消耗与通信设备的有限电量存储之间
随着无线通信技术的快速发展,移动通信数据流量呈现出爆炸式增长趋势,这不仅给传统的通信网络体系带来了巨大的负担,也给未来绿色通信网络的设计、运行以及维持带来了严峻的挑战。同时随着未来通信网络中更多的无线移动终端设备连接到互联网中,“万物互联”的通信演进模式已成为必然。然而其也带来了一些非常严峻的挑战,比如,如何在保证绿色通信的情况下为用户提供可靠的通信服务,以及如何增强通信网络的智能化水平。为解决以
低分辨率场景下的目标分类与识别问题对社会公共安全和国防等意义重大。随着图像信息获取技术的巨大进步,人们对获取的图像信息的使用需求也越来越大,特别是在一些特定应用中,对图像中精细目标信息的需求愈加强烈。然而该类精细目标的图像分辨率相对较低,能够获取的有用信息量较少,在借助高分辨率模板图像进行目标相似性度量时,待识别低分辨率目标图像与高分辨率模板图像之间的维度空间不匹配问题,使得低分辨率场景下的目标识