基于卷积核预测网络的屏下相机图像复原

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:pangzhu311
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着技术进步和消费者对大屏手机需求的增加,在手机设备有限的空间下提供更大尺寸的屏幕(即更高的屏占比)成为近年来的热点问题。一方面,水滴屏、挖孔屏等方案通过异形屏减少前置相机的空间占用,但其显示区域不完整,导致视觉效果较差,且需要系统、软件对异形屏进行显示适配;另一方面,折叠屏、弹出式前置相机、翻转式前置相机等方案通过不同的机械结构实现了完整的显示区域,然而其机械结构空间占用较大且较易损坏。因而,屏下相机(Under-Display Camera,UDC)系统作为一种新兴的全面屏解决方案,逐渐受到手机厂商的关注。由于UDC系统将相机隐藏在屏幕下方,屏幕电子元件的间隙通常会导致较为严重的衍射现象,导致UDC成像质量较差。现有研究工作基于一般的图像复原问题,设计了合理的数据收集方式,并进行深度模型的训练,得到了较好的UDC图像复原效果。然而,这些方法并未针对屏下相机系统的点扩散函数进行针对性模型设计,因此在解决屏下相机系统的图像退化问题上仍有较大的进步空间。本课题的主要研究内容如下:首先,通过扩大模型感受野提升UDC系统图像复原的性能。本课题在现有工作的模型框架下进行了网络结构结构调整,为后续的改进提供了一个更有效和稳定的基础。进而,通过图像高低频信息的分解,对UDC图像的高频与低频特征分别处理,提升UDC图像复原结果的细节效果。由于不同位置的模糊核在具有差异的同时具备一定的关联特性,本课题进一步将传统的卷积核预测网络分成两个分支,分别用于估计所有位置模糊核的公共基底和每个位置的系数,并通过线性组合得到预测模糊核。通过上述方案,模型以更低的计算量和参数量实现了感受野的扩大,达到了更高的UDC图像复原性能。其次,维纳滤波在图像非盲去模糊问题中已经得到了有效的应用,在基于特征图的维纳滤波反卷积方案中实现了较好的全局均匀运动去模糊效果。本课题在假设UDC系统点扩散函数已知的前提下,将维纳滤波引入UDC图像复原问题,为模型提供额外的先验知识,减轻卷积核预测网络分支的负担。通过维纳滤波与局部模糊核预测,分别实现全局粗粒度和局部细粒度的图像复原。最后,针对UDC系统点扩散函数难以获取的现象,本课题提出无需人工标注点扩散函数的训练策略,将模型推广到UDC图像的盲复原任务。本课题通过对两个现有真实数据集的退化特点和退化成因进行分析,完善了模型的网络结构。同时提出以恒等映射初始化预测模糊核,并通过数据驱动的方式进行模糊核的更新。此外,针对模型的具体实现方式,本课题讨论了多颜色通道分通道处理与混合通道处理方案的合理性,并通过实验进行验证。通过峰值信噪比和结构相似度的定量比较,课题取得了高于主流方法的UDC图像复原性能,同时在视觉效果上明显优于主流方法。
其他文献
近年来,已有相当数量的文献研究证明,我国部分非金融企业出现了一定程度的金融化现象,在非金融企业中,制造业是国民经济的主体,然而近年来,越来越多的制造业企业以增加金融资产配置的形式参与金融活动,2020年,2633家上市制造业企业中,有2025家企业配置金融资产,占比达到76.9%,金融投资金额达10930.96亿元人民币,2020年制造业企业的金融资产投资额约是2015年的2.44倍,约是2010
学位
从古至今,集群作战是非常有必要的,比如狼通过集群活动进行捕食,来优化单体作战的不足,集群可以在较低的成本下提高活动作战的性能,灵活度等等。无人机是现代战争的新兴武器,现代战争中通过无人机集群间的合作作战来提高作战效率。无人机集群是以单一无人机的作战性能为基准,通过大量小型的无人机之间的协同作战交互,依靠群体智能的涌现能力并且是一个具有成本较低、功能分布细致明显的分布式智能作战体系,而未来战争中无人
学位
智能机器人如扫地机器人、自动分拣机器人和配送机器人目前在家居和工业生产等领域代替人从事大量简单重复的工作,极大地提高了生产力,并在可预见的未来将进入更多的应用场景帮助我们进行生产生活活动。当前限制机器人应用的一个巨大挑战就是如何在更复杂的条件下如自然、城市和工厂等环境中进行稳定地运动。本文研究了如何在视觉信息的辅助下进行规划和控制四足机器人的运动,这使得四足机器人能够通过选择合适的触地点和身体姿态
学位
学位
当前电子商务飞速地发展,在线交易规模逐步扩大,尤其是在疫情的冲击下,实体店铺的发展遇到更大阻力,但是与此同时,却给了电商巨大的发展空间。但是在其发展的过程中,也不断地暴露着诸多问题:第一是信息篡改的问题,用户信息全部由第三方平台保存,用户对交易参与方信任评价的信息存在被篡改的风险;第二是信息泄露问题,尽管用户可以进行匿名评价,但这种基于第三方的平台只能实现面向公众的信息隐藏,而非真正的匿名;第三是
学位
多视图立体视觉(Multi-view Stereo,MVS)是从一组已知相机参数的图像中,以立体匹配为主要线索来恢复场景的密集三维表示,从而构建三维场景,而多视图深度估计是多视图立体视觉中的核心。MVS作为计算机视觉的基本问题已经研究了几十年,广泛应用于测绘、影视、自动驾驶等方面。近年来深度学习在多视图三维重建中取得良好效果,成为视觉三维重建领域的研究热点。基于深度学习的多视图立体视觉方法与传统方
学位
本文以偃师东山白云岩矿山智慧化生产为背景研究砂石生产过程中的粒度检测问题。砂石粒度是砂石产品质量的重要信息,不同粒径的砂石具有不同的用途,粒度一致性强的骨料具有更好的品质和更高的经济价值,因此对砂石粒度进行在线检测是实现砂石品控的前提。传统的粒度检测采用人工筛分,存在人为误差大控制精度低等问题,不满足实时性要求。本文设计实现了基于端到端的砂石粒度检测系统,通过工业相机采集传送带上的砂石图像,自动检
学位
降水预报是天气预报的核心业务,其预报准确性对于农业、交通等领域具有深远影响。目前降水预报估计主要依赖于雷达观测的云团回波情况,因此降水预报的核心步骤为雷达回波外推,即基于过去一段时间的雷达回波数据预报未来云团的运动及密度。但是,云团运动涉及复杂的大气物理规律,为外推带来极大挑战。近年来,深度学习在气象预报领域,基于循环一致神经网络(Recurrent Neural Network,RNN)的深度模
学位
HITS算法是流行的网页排序算法,然而随着互联网中数据量不断激增,在排序结果中该算法一方面存在偏重旧网页问题,另一方面存在页面排序质量问题,因此许多学者对算法做出了改进。针对偏重旧网页问题,也就是最终查询排名靠前的常常是在互联网中存在较长时间的页面。从时间维度考虑,由于页面的发布日期格式不规范,时间参数获取困难,所以本文考虑了在周期内爬虫爬取到网页出现的次数T,将时间次数T根据牛顿冷却公式给出时间
学位
近年来,区块链技术受到了全球学术界和工业界的广泛关注。区块链具有去中心化、匿名性、难以篡改等特点。比特币作为区块链技术应用的先驱代表,在数字货币应用、支付和货币流通等方面,发挥着重要的作用。以太坊对于智能合约的引入,使得区块链从单一虚拟币体系转变成为了合约体系,拓宽了区块链的应用范围,让区块链不再仅仅局限于支付领域,更是在医疗保健、金融、物联网等领域的应用价值得到了极大地提高。伴随着智能合约数量的
学位