基于序列帧分析的在线多人动作识别系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:ztqye
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来安防领域对智能监控的需求愈发旺盛,具备在线多人动作识别功能的系统可以及时地发现危险行为从而做到防患于未然,因此逐渐受到业界的关注。在娱乐行业,基于视觉的动作识别算法也可以大大降低体感游戏的设备成本。同时,动作识别也为人机交互带来了全新的模式。视频动作识别算法目前可分为基于人工提取特征的传统方法和深度学习两大分支。早期基于传统视觉的方法存在人工设计的特征对动作信息表达不足,准确率低的问题,而基于深度学习的方法普遍模型训练难度大且识别速度慢。本文在这一基础上将传统方法与深度学习相结合,先基于Openpose(CMU提出的开源人体姿态识别库)做了改进及优化形成本文动作识别系统的前置骨架输出模块,再针对此模块输出的骨架序列数据提出了一种独有的人工特征提取方法获得了动作序列的混合阶特征表示,最后将这些特征数据输入一个基于多分支一维卷积设计的特殊动作识别网络中进行快速动作分类从而构成了一个完整的在线多人动作识别系统,相比于其他方法,系统在保证了预测精度的同时提高了运行速度,达到了实时预测的效果。本文主要工作如下:(1)根据动作进行分析提取了11个人体主要关键点组成由10段骨架构成的一种人体骨架编码方式,与Openpose相比,本文的骨架剔除了面部等对姿态估计贡献度不大的关键点,抓住人体动作主要特征的同时又减少了计算量。(2)针对本文训练模型所用的NTU-RGB+D数据集进行了处理,去除了数据集中的无效坏数据,去除数据集中多人交互动作而保留49个单人动作类别。由于原生数据集中每个动作样本帧数不定,本文采用均匀采样将所有数据样本定长为50帧以便后续训练模型使用。(3)基于Openpose提出了一种改进的骨架提取网络,本网络可以输出(1)中定义的特征骨架,同时对比原生Openpose大大降低了计算时间。(4)本文提出了一种独有的融合一维卷积动作识别网络模型,此网络从角度序列,角速度序列,角加速度序列三个方面进行一维卷积后再进行特征融合,最后经由输出层进行分类输出,本文网络结构是经过实验调优得到的最优解,具有收敛快,准确率高的特点。(5)针对视频中出现多人时导致的多目标追踪问题,本文提出了一种基于骨架信息的亲和度编码,再此基础上应用KM算法进行多人骨架追踪,并最终将系统各模块集成为一个完整的在线多人动作识别系统。
其他文献
和谐社会的构建需要有一个稳定的社会价值体系做支撑。所谓“没有公平正义,就没有统一的评判标准,就无法构建一个和谐的社会”,如今的社会与虚拟网络社会混为一体,网络秩序的稳定直接关乎到整个社会环境。所以网民的正义表达不仅影响着网络环境的健康传播,还关系到整个社会的和谐发展。然而随着网络自媒体的发展,言论自由下形成的价值观体系不断遭受冲击,舆论热点事件的频发更是加剧了网民对于正义的的不理解和网民正义的模糊
学位
行人重识别(Person Re-Identification,Re-ID)是图像检索领域的子问题,其利用计算机视觉方法确定特定行人是否出现在图像或者视频序列中。近年来,深度学习在计算机视觉任务上发展迅速,基于深度学习的行人重识别方法在智能安防、刑侦识别、智慧交通等领域均得到了广泛应用,但不免会受到自然场景中遮挡等不良因素的影响,例如行人互相遮挡、障碍物遮挡等,因此制约了行人重识别在实际场景中的应用
学位
复杂的癌症系统可以依靠网络进行有效的建模,对网络进行分析可以有效探索系统的运行机制及变化。模块检测是网络分析的研究热点之一并受到广泛关注。其中,模块指在网络中连接紧密的一组节点,而在不同模块之间的节点连接稀疏。随着生物技术的发展和交互数据的不断增加,整合多类型数据构建的多层网络成为研究的热点。特异模块检测是模块检测在多层网络中的拓展,可以使用基于多层网络的聚类算法对其进行研究。目前的特异模块检测检
学位
物联网的快速发展伴随着大量设备的接入,将越来越多的电子设备带进我们的生活,从而让我们离万物互联的世界越来越近,但随之而来的是巨大的能量供给问题以及设备维修问题等。此外物联网的接入设备需要更长的使用寿命,对于电池的频繁更换是难以忍受的,而无电池无线传感器系统是通过从周围环境中收集设备运行的能量,并通过高度耐用和长寿命的电容来进行能量存储,从而摆脱对电池的依赖。本文完全利用微波信号进行供能,实现了无电
学位
在海量图像信息存在的今天,卷积神经网络(Convolutional Neural Networks,CNN)作为一种端到端的图像特征提取器,被广泛应用到诸如图像分类等计算机视觉的各个领域。CNN计算量大、时间复杂度高、存储密集和功耗高,而终端设备资源有限、实时性要求高且需要控制成本,很难实现CNN算法落地,为了部署落地需要设计复杂度低的网络结构和高效硬件架构。现场可编程逻辑门阵列(Field Pr
学位
深度报文检测作为一种网络数据包过滤技术,能够用来检测网络流量中存在的潜在攻击数据或行为,在网络流量分析中发挥着重要作用。但是,由于需要维护网络空间的数据安全及个人数据隐私不受侵犯,网络流量数据通常是以加密的形式传播,对加密流量解密后再进行检查分析,导致网络流量数据的隐私面临严峻的安全挑战。现有对加密流量的分析检测方案因分析检测算法开销大、分析检测时延高及检查规则暴露等问题,无法实际应用在大规模隐私
学位
德育是新时代教育思想的重要组成部分,贯彻立德树人的根本任务有助于培养学生正确的价值观念,助力国家精神文明建设。本研究的目的是将高中化学与德育融合落实在实处。通过分析德育内涵、细化德育内容,促进教师对德育内容的认识,进而转变教育理念。通过对高中生思想观念和行为习惯的调查,分析德育现状和学生道德水平情况,根据存在的问题原因,梳理出解决这一系列问题的对策。本研究共分为六个部分。第一部分是绪论,论述了研究
学位
当用户将自己的程序上传至云端的时候,程序的隐私性及其安全隐患阻碍了它的广泛应用。而且在公有云端,对程序逻辑机密性的保护要求更高。保护程序逻辑机密性的主要方法集中在控制流混淆领域,当前的主要方案是利用纯软件技术解决,但也有一些结合硬件实现的方案,如基于可信执行环境SGX的CFHider和CFCloak。CFHider是将混淆后的控制流语句隐藏入可信环境中执行,但是其保护范围有限,安全性不足。CFCl
学位
作为集成电路领域的半定制器件,现场可编程门阵列(Field Programmable Gate Arrays,简称FPGA)因其设计灵活、成本低廉、逻辑资源丰富等诸多优势被广泛应用于各行各业,成为现代社会和经济发展的关键。FPGA EDA(Electronic Design Automation)软件将使用硬件描述语言设计的电路转化为二进制比特流,然后把比特流载入FPGA芯片中,通过比特流配置芯片
学位
复杂装备的健康管理对现代工业制造具有重要意义,对装备进行快速、准确的故障诊断和剩余寿命预测可以时刻掌握装备健康状态,帮助制定科学的维修计划,避免因为无征兆的装备故障造成巨大的经济损失。随着现代传感器技术的发展,已经可以方便的收集到各种装备运行监测数据,加上各种人工智能算法等数据分析技术的进步,数据驱动的装备健康管理走在了研究最前沿。本文针对工业中广泛使用的滚动轴承,对故障特征提取、故障诊断和剩余使
学位