基于动态视觉传感器的图像去模糊技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:xyhnet
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在单幅图像或者连贯视频的拍摄过程中,往往会因为当前图像采集环境差、相机和被拍摄物体之间存在相对运动,而造成采集到的图像或者视频质量退化,这种退化导致图像或者视频中本该包含的信息受损或者丢失。本文以在高速和高动态范围场景下的模糊图像作为研究对象,借助一种生物启发的动态视觉传感器Dynamic Vision Sensor(DVS)解决图像的降质问题。DVS的工作原理与传统相机截然不同。它不是以固定的帧率捕获图像,而是异步测量每个像素的亮度变化,输出编码了位置、时间和亮度变化极性的事件流。相比于传统相机具有:很高的动态范围(140d B VS.60d B),很高的时间分辨率(μs数量级),更低数据量,无运动模糊等特征。因此,在高速、高动态范围等传统相机面临挑战的场景中,DVS相机具有巨大的潜力。本文主要的工作和成果如下:1.本文提出了一种循环事件表示方法。由于DVS事件具有高时间分辨率的特性,如何利用DVS相机所提供的信息,对于图像去模糊的结果有较大影响。现有的事件表示方法往往会由于时空堆叠而丢失事件的时间信息,或者难以平衡所采用的事件累积时间大小与事件表示的质量,从而导致所生成的事件表示存在丢失历史信息、质量不高等问题。针对这些问题,本文提出了编码了事件完整时间信息和历史信息的循环事件表示,能够完整记录在挑战场景下丢失的信息,帮助图像去模糊。消融实验结果证明了本文提出的循环事件表示能够为挑战场景下的图像去模糊提供比较完整的信息,使用该事件表示的去模糊方法去模糊效果最佳。2.本文提出了一种混合去模糊网络Hybrid Deblur Net(HDN)。传统的图像去模糊方法首先基于先验假设求解模糊核,然后进行图像去模糊。现实世界中,由复杂和剧烈运动带来的模糊往往难以准确计算出模糊核,使得图像去模糊效果较差。基于深度学习的图像去模糊方法取得了不错的去模糊效果,但是在高速和高动态范围场景下,由于大量图像信息丢失,导致图像去模糊困难。针对这一问题,本文提出利用在挑战场景下完整编码了事件信息的循环事件表示来弥补丢失的信息,解决了由于大量图像信息丢失导致的图像去模糊难题。实验结果表明,在主流的Go Pro模糊数据集上,本文所提出的混合去模糊网络比目前最好的去模糊算法性能提升了6.75%,峰值信噪比达到了32.25(d B)。在真实DVS数据集上也取得了最佳的视觉去模糊效果。3.本文提出了一种细粒度视频去模糊和重建方法Fine-grained Video Deblur(FGVD)。传统的视频去模糊和重建方法利用连续多帧之间的关联信息进行去模糊和重建,然而由于传统图像的帧率不高,并且多帧中大部分图像都受到模糊的影响,因此去模糊和重建效果不佳。针对这一问题,本文提出了一种开发DVS事件高时间分辨率特性的方法,将事件转换成更细时间粒度的循环事件表示进行去模糊,再将去模糊后得到的清晰图像与一定微小时间偏移后的细粒度事件表示串联,输入视频重建模型中,从而重建出高帧率的清晰视频。在Go Pro数据集上,相比于目前最好的去模糊算法和之前提出的混合去模糊网络,去模糊性能分别提升了8.6%和1.7%,峰值信噪比达到了33.02(d B)。在真实DVS数据集上也取得了更好的视觉去模糊效果。综上所述,本文提出的基于动态视觉传感器的图像去模糊方法,可以在传统相机遭受严重模糊的高速场景下成功地重建出清晰的图像,相比于高速摄像机,具有明显的价格和功耗优势。另外,利用动态视觉传感器的高动态范围和高时间分辨率的特性,可以在黑暗或过曝场景下重建出清晰的高帧率视频,对于自动驾驶、无人机飞控以及复杂环境下的军事应用等都具有应用价值。
其他文献
城市供水管道的泄漏,不仅造成严重的水资源浪费,而且对供水管网系统安全和居民的生产、生活用水安全保障带来严重的影响。基于长波段雷达卫星的城市地下管道漏水检测技术,通过提取介电常数,获取地下土壤中的水分信息,进而可检测出漏水区域,确定漏水点位置。利用卫星探漏技术对北京五环内的管线进行定期检测,近五年的应用实践证明其确实能够全面、快速、高效地检测出供水管道的漏水点,极大地提高了主动检漏效率,且该技术不受
期刊
报纸
化学概念是化学课程的重要组成部分,是学生构建化学知识体系的基础,是发展学生核心素养的重要途径之一。由于部分化学概念抽象、复杂,所以学生难以理解其本质。通过化学实验可以让学生更加直观地感受化学变化的发生,在此基础上经过分析、总结等科学思维活动,将感性认识转化为理性认识,从而主动建构化学概念,并加深对其的理解。基于新课标,从传统实验和虚拟实验两个方向对化学实验进行改进和创新,以达到促进化学概念教学的目
期刊
小学道德与法治课程教学是在该阶段教育中占有举足轻重的地位,它既可以对学生进行良好的品德教育,又可以使学生树立正确的法制观念。素质教育背景下应注重加强对学科核心素养的培养,道德与法治的学科教学也不例外,因此教师需基于核心素养背景构建小学道德与法治品质课堂,满足学生的学习需求,通过这种方式,可以有效地提高学生的道德和法制素养,推动学生全面发展。因此,在课堂上,教师不能只凭教材和经验,而要有创造性教学,
期刊
归纳了目前报道的11种阿莫罗芬的合成方法,分别以叔戊基苯、对叔戊基苯甲醛、α-甲基肉桂酸、α-甲基肉桂醛和3-(4-叔戊基苯基)-2-甲基丙醇为起始原料,根据不同的起始原料合成阿莫罗芬,并且探讨了这些合成方法的优缺点。基于现有研究,以叔戊基苯、α-甲基肉桂酸和3-(4-叔戊基苯基)-2-甲基丙醇为起始原料总收率高、成本低,是工业化生产考虑的工艺路线。认为形成多步骤串联反应,减少后处理操作,寻找1条
期刊
文章首先介绍了国际水协提出的漏损控制策略,分析了L自来水公司的基础设施和漏损控制现状,提出“咨询+硬件+软件”一站式管网漏损控制解决方案。通过主动式漏损控制方式,如硬件采集、软件分析、智能预警、消息推送等智能化手段,优化漏损控制流程,提高检漏效率,不断降低自来水公司的产销差。最后通过投资和效益的分析,对项目的经济效益进行了评估,实践证明该项目经济效益良好。
期刊
<正>区域协调发展是党和国家高度重视的战略性问题。党的二十大报告提出,深入实施区域协调发展战略、区域重大战略、主体功能区战略、新型城镇化战略,优化重大生产力布局,构建优势互补、高质量发展的区域经济布局和国土空间体系。中央经济工作会议明确提出,深入实施区域重大战略和区域协调发展战略。
期刊
消防管网的运行情况直接影响消防工程的功能发挥,与民众的生命财产安全有着十分密切的关系。消防管网在长期运行过程中,受地质环境、外界压力、设计施工等一系列因素的综合影响,容易出现渗漏问题。由于地下消防管网的漏水问题较为隐蔽,人们难以及时发现和解决,导致对消防灭火救援工作产生十分严重的影响。面对这种情况,需积极创新漏点探测技术,高效识别、定位消防管网的渗漏点,及时处理渗漏问题。
期刊
多年来,我们名师工作室团队以工匠精神引领化学实验创新;在实验改进和设计的过程中,能够秉持严谨的科学态度、追求高超的创新技艺、树立强烈的责任意识、培养持久的敬业精神,持续开发出大量新颖实用的化学实验教学资源,提升了中学化学实验教学的质量。
期刊
中小学道德与法治课程一体化建设是转变传统教学模式,为道德与法治教学提供更加丰富、共享资源库的科学路径。通过本文实践分析可知,教师应立足小学道德与法治课程教学寻找一体化切入点,丰富相关课程教学组织模式,提升教学质量,为打好小学道德与法治教育基础,实现中小学道德与法治课程一体化建设目标提供保障。
期刊