【摘 要】
:
人体动作识别作为视频分析中一个非常重要的组成部分,其已经在多个重要领域发挥至关重要的作用,包括视频监控、人机交互、自动驾驶等等。传统的人体动作识别主要基于RGB图像或视频,但由于尺度、光照变化以及背景噪声等因素的影响,效果不尽如人意。近年来,得益于深度传感器的发展以及人体骨骼关键点检测算法的成熟,越来越多的研究聚焦在基于骨骼关键点的动作识别算法上,并且开始使用图卷积对人体骨骼进行建模并加以分析。本
论文部分内容阅读
人体动作识别作为视频分析中一个非常重要的组成部分,其已经在多个重要领域发挥至关重要的作用,包括视频监控、人机交互、自动驾驶等等。传统的人体动作识别主要基于RGB图像或视频,但由于尺度、光照变化以及背景噪声等因素的影响,效果不尽如人意。近年来,得益于深度传感器的发展以及人体骨骼关键点检测算法的成熟,越来越多的研究聚焦在基于骨骼关键点的动作识别算法上,并且开始使用图卷积对人体骨骼进行建模并加以分析。本文基于时空图卷积网络算法提出两种不同的改进算法:基于人体结构分解的图卷积神经网络与基于图变换的双流图卷积神经网络。基于人体结构分解的图卷积神经网络:针对时空图卷积网络只能捕捉整个人体骨骼的运动信息,无法获得身体部分区域的运动信息的问题。本文提出将人体骨架进行分解,以得到更细粒度的头部特征、躯干特征以及腿部特征,而后将三种不同的特征分别输入网络提取深层次特征,最后将各个深层次特征融合后经过softmax分类器得到最终的识别结果。对比实验表明,我们提出的模型较时空图卷积网络能够更好地捕捉身体某一部分的运动信息,并忽略不相关身体部分的运动的信息,对于多数动作类别有较大的提升。基于图变换的双流图卷积神经网络:针对时空图卷积网络中使用的邻接矩阵在训练过程中保持不变,会导致模型无法捕捉到与动作相关联骨骼关键点之间联系的问题。本文构建了基于图变换的时空图卷积网络,此网络能识别任意两个骨骼关键点之间的联系,加强每个骨骼关键点的特征表达能力。其中图变换模块能够根据输入数据自行变换邻接矩阵,以学习到最优的图结构。并且为了充分利用骨骼数据,设计并构建了双流网络利用二阶骨骼信息,以提升模型性能。可视化分析表明,本文提出的图变换模块能够生成新的图结构,此图结构能够捕捉与动作类别相关的骨骼点之间的联系,证明了图变换模块有效性。并且在加入了二阶骨骼信息后,模型有较大程度的性能提升,证明了二阶骨骼信息的重要性。
其他文献
多目标优化问题通常具有两个或两个以上相互冲突的目标。进化多目标优化算法被广泛用于解决多目标优化问题。这种算法可以找到一组兼顾收敛性和分布性的解决方案,同时使得这组解决方案逼近整个Pareto front。然而,相比于整个Pareto最优解区域,决策者通常只对一小部分与其最相关的权衡解感兴趣。另外,为决策者提供大量的非支配解不但会增加其工作量,也会影响决策者的精准决策。因此,在现实问题中,多目标优化
在计算机视觉领域,理解人物目标是关键且具有挑战性的一个话题,而人体解析是实现这一目标的任务之一。人体解析是语义分割的子任务。人体解析是一个密集预测的任务,其目标是定位人体所在区域,并进一步将其划分成多个语义区域。近期,人体解析被广泛应用于其他分析人物目标的任务中,例如行人再识别、姿态估计、人体图片生成等。现有的基于深度学习的方法可以归纳总结为:基于特征增强、基于人体结构、基于多任务学习、基于生成对
近年来无人机、无人小车等智能体因其稳定性高、适应性强、风险小等特点得到了快速发展;智能体集群化解决了单个智能体功能性有限的问题,发挥集群优势的同时对智能个体进行了有效的整合。集群避障一直以来是智能体群体控制的重要模块,大多避障算法在遭遇复杂障碍物环境时容易陷入局部最优值使得智能体无法快速进行障碍物躲避;本文根据智能体集群在障碍物环境任务执行过程中避障需要,对Flocking协同控制算法和Q-lea
随着移动智能设备与物联网等技术的飞速发展,人们的家庭生活水平也稳步提升,如今很多的家庭设备也变得智能化。分布式家庭娱乐系统以此为背景,而且基于家庭生活中的各种智能设备如智能电视、电脑、音响等等,探寻一种智能手机与各种家庭设备相互协作的家庭娱乐体系。在该体系下各种智能设备能够各司其职,如智能电视视听效果好、智能手机轻便易操作,因此分布式家庭娱乐系统解决了家庭设备之间的互联互通问题,且使得每一个设备都
近年来,随着人工智能、深度学习领域的发展,深度神经网络模型得到了广泛的研究和应用。其中,计算机视觉方面的研究也取得了突破性的进展,并有许多研究已经有了具体落地应用,这为人们的生活带来更多的方便。然而,对于神经网络的训练,往往需要基于大量的实验数据,而数据的提供方式在实验场景和实际场景有较大的差别。在实验条件下,数据往往是完整的理想化的,由人工直接提供。但在现实世界中,数据往往是随着时间逐渐提供的。
由于脑电信号反映了大脑神经的基本活动,所以能够客观反映出人的内在情感。然而在脑电信号采集过程中不可避免的出现伪迹,这将导致脑电信号质量不佳;以及现有的特征选择方法无法提取与情感相关的通道,从而将与情感无关的通道也参与脑电信号分类之中,这些结果都会导致脑电信号情感效果较差。为解决上述问题,本文以SEED数据集、DEAP数据集为研究对象,将稀疏化理论引入脑电信号情感分类之中,对特征提取选择和分类算法进
人类对于世界的探索已经不仅仅局限于陆地和海洋,而是将探索的方向转向了更为广袤的天空和宇宙,因此对各个国家在航空航天领域的技术实力提出了更高的挑战,国家在空气动力学领域的研究与进步也就显得尤为重要。空气动力学中在获取气动数据时仍依赖较为传统的方法,但此类方法的局限性较大,通常具有较高的时间或经济成本。而当前人工智能技术的蓬勃发展为空气动力学领域气动数据的获取方式的发展提供了新的契机。空气动力学领域传