基于深度学习的人体行为检测算法研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:darkelf696
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的飞速发展以及嵌入式芯片处理能力的增强,人体行为检测在智能视频监控、家居安全等领域的需求日益增加。目前基于深度学习的行为检测技术虽然取得了突破性进展,但是依然存在着视频特征提取不够高效、多任务优化不充分、模型复杂难以部署到嵌入式平台等问题,需要进一步的发展和完善。
  本文着重于高效的视频时空特征提取方法以及准确的多尺度检测方法的研究,并探索在嵌入式设备上的优化方案,提出了基于2D和3D混合卷积的时间特征金字塔网络( Mixed 2D and 3D Convolutional Temporal Feature Pyramid Network, MiCTFPN )。MiCTFPN算法主要由特征提取网络、时间特征金字塔网络以及分类和回归网络三个部分组成,具体如下:(1)为了高效地提取视频的时空特征,本文设计了一种端到端的基于2D和3D混合卷积的时空特征提取网络。先使用2D卷积提取视频的空间特征,再使用3D卷积将其得到的特征图融合,解决了2D卷积对输入模态要求高、3D卷积难以优化的问题,同时本文将其进行了端到端训练,增强了特征的准确性。(2)为了在多个特征尺度上对行为目标进行检测,本文设计了时间特征金字塔网络。将深层特征图上采样之后与浅层特征图融合,解决了浅层特征图语义信息弱的问题,为行为增加了全局上下文信息;(3)为了更好地优化每个子任务,本文设计了基于1D卷积的解耦合的分类和回归网络。在预测阶段,使用不同的网络来实现分类任务和回归任务,使得每个子任务都得到了充分的训练。此外,针对模型参数量大、复杂度高而难以部署到计算资源有限的嵌入式设备的问题,本文通过将3D卷积分解为2D卷积和1D卷积的方式,实现了MiCTFPN算法在嵌入式平台的部署。
  实验结果表明,本文提出的MiCTFPN算法在检测精度和速度方面都达到了比较好的效果,在人体行为检测数据集THUMOS14上:(1)在NVIDIA GeForce GTX1080Ti GPU设备上,达到了37.9%的检测精度和271FPS的检测速度;(2)在Jetson TX2嵌入式设备上,达到了35.2%的检测精度和37FPS的检测速度,满足实时性的要求,进一步验证了MiCTFPN算法的高效性和实用价值。
其他文献
锁相环频率综合器是连续波汽车雷达的重要组成部分,特别是近年来汽车雷达传感器的应用越来越广泛,其重要程度也与日俱增。双模分频器作为锁相环工作中必不可少的一个模块,不仅要承接来自上级电路的高频信号,还要为后续电路提供稳定可靠的交流信号,有着承上启下的重要作用。因此,对双模分频器的研究、分析与设计,具有较大的学术价值和工程应用价值。  本论文旨在研究并设计基于0.13μm SiGe BiCMOS工艺的0
目前,随着物联网以及多种新型移动设备的迅速发展,位置服务已经成为人们日常工作和生活的一项基本服务需求。不管是在室外,还是在复杂的室内环境,人们都对位置感知有着迫切需求。基于可见光通信(Visible Light Communicatiom, VLC)的可见光定位(Visible Light Positioning, VLP)技术因其低成本、高精度等优点,在室内定位领域中备受关注。然而,VLP系统仍
学位
传统的风速检测方式多为机械式,具有体积大、灵活性较差、可动部件易磨损等缺点,而基于MEMS的热式风速风向传感器可以较好地规避这些问题。目前关于热式风速风向传感器的研究多集中于芯片结构和封装的改善,目的在于量程、灵敏度、响应速度、功耗等指标的优化。本文在诸多前期研究的基础上提出了改善风速传感器性能的方案并针对热式风速传感器的启动时间这一参数开展了较为详尽的研究,以软件仿真、实验测试和数学推导的方式进
柔性应变传感器在移动医疗,人机交互,智能机器人等领域有着广泛的应用前景。由于碳纳米管(Carbon nanotubes,CNTs)高长宽比,良好的导电性能,以及出色的机械性能,成为柔性应变传感器应用最广泛的纳米材料之一。但是基于CNTs的柔性应变传感器普遍灵敏度较低,如何解决高灵敏度和高拉伸应变范围之间矛盾以及低成本制备应变传感器,仍是亟待解决的挑战。  本论文提出在半固化的硅橡胶(Ecoflex
随着无线网络通信链路不断发展,通信链路的信号接收端对模数转换器(Analog to Digital Converter)的性能指标的要求越来越高。流水线型模数转换器(Pipeline ADC)虽具备很高的采样率,但功耗大且与先进工艺不兼容;逐次逼近型模数转换器(Successive Approximation Register ADC)虽然具备低功耗的优势,但其电容匹配精度限制了其分辨率。而流水线
近年来,心血管病的死亡率在所有疾病中处于首位。心血管疾病会导致异常心率信号的出现;因此,对心率信号和心电图进行分析就成为了检测心血管疾病的主要方法。目前,市面上使用的心电图信号采集仪器存在着便携性与实时性不可兼得的问题,而且数据处理采用人工分析,无法解决大数据量下的心电图信号分析问题。本研究考虑使用基于机器学习的心电图(Electrocardiography,简称 ECG)采集分析系统来解决这些问
学位
先进工艺下,工艺误差对芯片良率的影响越来越明显,模拟电路的快速良率分析方法成为研究热点之一。传统良率分析方法难以解决模拟电路良率分析问题:蒙特卡洛方法需要仿真次数过多,影响整体设计开发周期;重要性采样方法在构建采样分布后很难改变或更新采样分布,难以适应模拟电路特性;替代模型方法无法控制模型拟合误差,难以评估分析结果的准确性。因此,面向多性能指标的模拟电路,设计新型良率分析方法具有重要的研究价值。 
学位
目前高清视频在娱乐、医疗、视频监控等领域的应用越来越广泛,促进了视频超分辨技术的研究。其中,基于深度学习的视频超分辨算法快速发展,但它们在视觉感知、精度、时序一致性的指标方面各有侧重,且模型参数量大。因此需要进一步研究如何更好地综合上述三方面指标,并提升模型推理速度,为视频超分辨技术在嵌入式终端的应用打好基础。  由此,本文设计了基于生成式对抗网络的视频超分辨算法( High Optical Fl
近些年来,二维材料由于其原子级别的厚度、表面无悬挂键等特性逐渐成为研究人员的热点,此外,二维材料之间依靠范德瓦尔斯力结合,所以能够将不同种类的材料组合成异质结结构,更加拓宽了其研究方向。不同于其对应的体材料,石墨烯等二维材料展现出了一系列优异的光电性质,因此广泛应用于高性能场效应管、光电传感器等电子器件,但目前此类器件仍具有些许不足,例如栅氧化层的存在阻碍了载流子的扩散运动,导致了较低的迁移率;使
学位
语音唤醒作为一种关键词识别(Keyword Spotting, KWS)技术,通常用作复杂语音交互设备的接口,是一种小型的关键词检索系统。随着物联网技术的发展,语音唤醒电路被广泛地应用在电池受限的移动、可穿戴设备中,并且保持常开(Always on)的状态,因此该类芯片对语音唤醒电路的功耗要求非常严格。  本文设计了一种极低功耗的语音唤醒电路,主要包括特征提取电路、神经网络电路和后处理电路。特征提
学位