【摘 要】
:
“事件相机”基于仿生的动态视觉传感器(Dynamic Vision Sensor,DVS)而诞生,其具有微秒级别的响应时间,只对视野里亮度发生变化的位置进行记录,每个亮度发生变化位置会输出一个“事件”,该事件包含该位置的地址信息u,亮度发生变化时的时间信息t以及亮度信息p,表示为(u,t,p),其中u代表位置坐标(x,y),多个位置产生的众多“事件”以异步方式输出,形成“事件流”。因此,DVS不像
论文部分内容阅读
“事件相机”基于仿生的动态视觉传感器(Dynamic Vision Sensor,DVS)而诞生,其具有微秒级别的响应时间,只对视野里亮度发生变化的位置进行记录,每个亮度发生变化位置会输出一个“事件”,该事件包含该位置的地址信息u,亮度发生变化时的时间信息t以及亮度信息p,表示为(u,t,p),其中u代表位置坐标(x,y),多个位置产生的众多“事件”以异步方式输出,形成“事件流”。因此,DVS不像传统相机那样无论视野里光强是否变化,定时曝光形成包含丰富背景信息的强度图像帧,对视野里所有数据进行整帧输出,所以相较于传统相机,DVS能以极少的数据量捕捉运动物体,微秒级别的响应速度也使其具有极高的时间分辨率,但成像结果剔除了静态背景(视野里光强未产生变化的位置)。另外,DVS动态范围较传统相机高出二倍有余,可以感知强光和暗光下的亮度变化并输出相应的事件信息。因此,DVS具有高时间分辨率、高动态范围(HDR)、低延迟无运动模糊等传统相机不具备的优点。然而,事件相机的输出是基于时间先后顺序产生的异步事件流,而不是传统图像定时曝光记录的强度图像帧,造成现有的图像处理算法不能被直接被采用,在事件流上直接进行数据处理又颇有难度,于是,设计重建算法实现由事件流重建出传统强度图像成为了这一问题的解决思路,现有的重建算法一类是基于数学物理方程的先验假设统计对事件流进行强度重建,另一类是利用深度学习网络由异步事件流直接重建出清晰强度图像。针对事件流重建问题,目前主流思想是采用深度学习网络如循环卷积网络(LSTM),生成对抗网络(GAN)等,完成由异步事件流到强度图像帧的直接转换。但是现有重建算法并未考虑到暗光下DVS成像较日光下包含更多的随机噪声和细节损失,从而影响了重建质量,本文出于上述考虑,针对事件流细节重建对重建算法做出了新的设计,使得暗光下事流件也可以被重建为清晰的强度图像,实现事件流的高质量跨域重建,本文主要工作和改进如下:本文提出了一种基于域自适应的事件流重建网络,该网络将事件流特征区分为域共享特征(如场景结构)与域私有特征(如细节纹理)两部分,针对暗光事件流借由域私有特征设计了细节增强模块,对暗光事件流进行了反向细节增强,完成事件流的跨域清晰重建。之后又提出了一种以生成对抗网络为基础结构的网络模型用于事件流重建,该网络利用了多尺度特征提取、注意力机制和梯度监督对重建图像的局部细节特征进行关注,同时对重建图像进行局部裁块并利用鉴别器对局部区域的重建细节进行约束,使得生成图像的细节轮廓、局部纹理更清晰。为了评估本文所提出的方法,本文以Celex-V事件相机和传统相机为载体自制了双目相机用于事件流重建数据库的捕获,该重建数据库在各类自然场景及室内场景下摄取,是一个包含日/暗光事件流以及与之对齐的参考强度图像的大规模数据集。在该数据集上的实验表明,上述跨域重建方法具有更好的性能去完成事件流的跨域重建。
其他文献
近年来,为了使芯片的上市周期缩短提高效率,节省成本,SoC(System on Chip)已经开始推广运用能够复用的IP(Intellectual Property)核,DDR4的主流速度达到了2133Mbps,在业内使用量较高。而与DDR相匹配的DDR PHY(Physical)常被当作一个高速IP核来使用,当DDR PHY作IP使用时,由于使用者对内部架构和设计并不完全了解,很多时候使用者把D
近年来,随着集成电路产业工艺技术的不断推进,芯片的电路规模日益扩大,内部复杂度逐渐提高,与之带来的功耗问题成为了芯片设计人员不可忽视的重要因素。而在各类便携式智能医疗设备中,考虑到其日常使用场景和性能指标,如何有效控制内部控制芯片功耗也是当前研发人员首要考虑问题。因此,在保证芯片的可靠稳定和性能需求基础上,实现低功耗的设计目标,具有重要的实现意义。本文研究对象为某款针对医疗市场研发的血红细胞检测芯
在工业控制中,脉冲宽度调制(PWM)作为一种有效的数字信号控制模拟电路技术,被广泛用于电力电子、电机控制及机械控制等领域中。为了满足工业控制需求,需要在SoC芯片中集成PWM发生器,本课题基于SoC技术完成了符合APB总线接口标准的四相PWM IP核的设计与验证,论文的主要工作如下:针对工业控制芯片的PWM功能需求,完成了PWM核的前端设计,包括总体架构定义、模块功能划分、模块原理设计等工作,设计
电路综合是超大规模集成电路芯片设计中承前启后的一个重要环节,综合的策略从方方面面影响着综合网表的质量。近十年来,随着工艺进入深亚微米级别,前后端网表差异过大成为了制约芯片设计质量的一个重要因素。过去的工程实践常常将综合阶段的互连延时做理想化或者归一化处理,但是这样做的弊端开始显现;而且,传统的逻辑综合往往不考虑单元的位置信息,使得一些需要物理信息的综合策略无法很好实现,导致WNS指标变差,时钟频率
根据中国互联网信息中心于2021年2月发布的第47次《中国互联网络发展状况统计报告》显示,截至2020年12月,我国网民规模达9.89亿,网民使用手机上网的比例增致99.7%。开放包容的互联网环境丰富了人们的日常生活,提升了居民生活品质,提高了工作效率。然而,作为一把双刃剑,网络中流转的内容鱼龙混杂,其中的不良信息会对正常用户带来极大影响,严重侵害人身安全,败坏社会整体风气,甚至诱导他人走上违法犯
应用程序接口(application programming interface,API)是指在软件开发的过程中,由于不同模块间组合的形式不同而需要的一些事先定义好的接口程序。API的出现解决了开发人员在编程过程中出现的代码冗余现象,对于一些重复性较高的功能,只需调用API即可实现。在实际应用中,API由于简化了开发人员将全新组件集成到已有结构中的方式,提升了开发效率。为了适配更多的平台并满足更多
近年来,随着电子设备小型化、集成化、高速化需求的提升,设备内部各个功能模块之间的电磁兼容问题变得尤为突出,导致其电磁敏感度也变得越来越高。当强电磁脉冲对电子设备进行辐照时,可能以“前门耦合”或“后门耦合”的方式进入设备,导致设备内部敏感器件比如低噪声放大器、混频器、数字集成芯片和电源模块等受扰甚至毁伤。同时由于天线具有较强的频率选择性,使得与天线频谱相关联的强电磁脉冲具有更大的威胁能力。天线后端的
随着5G时代的到来,智能家居、智能制造、无人驾驶等技术都需要对空间、物体进行精确计算,才能实现其高效安全的应用,同时也对导航定位的精度提出了更严格的要求。但导航系统工作频段较低,导致相应的天线尺寸较大,因此实现天线小型化是当前研究的一大难点。除此之外,5G大背景下传统的天线形式已经很难满足现代高科技的应用,可穿戴设备的广泛应用吸引了学者们对可穿戴天线研究的目光。由于其特殊的应用场景,也对天线提出了