【摘 要】
:
随着深度传感器与深度学习网络的发展,基于骨架数据的人体动作识别成为近年来计算机视觉领域的热门问题之一。通过传感器获得的骨架数据可以表示人体关节动态信息以适应带有噪声的复杂背景。应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中仍存在一些问题,如图的拓扑结构固定、会遗漏非物理连接的关节相关性、无法提取局部时空特征等。首先,参考近年来基于骨架数据与图卷积网络的人体动作识别的
论文部分内容阅读
随着深度传感器与深度学习网络的发展,基于骨架数据的人体动作识别成为近年来计算机视觉领域的热门问题之一。通过传感器获得的骨架数据可以表示人体关节动态信息以适应带有噪声的复杂背景。应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中仍存在一些问题,如图的拓扑结构固定、会遗漏非物理连接的关节相关性、无法提取局部时空特征等。首先,参考近年来基于骨架数据与图卷积网络的人体动作识别的国内外文献,本文提出了一种基于区域关联自适应图卷积网络的骨架动作识别,通过自适应图卷积使参数化的全局图和单个数据图的结构与模型卷积参数在不同的层中分别进行训练和更新,增加了模型中图形构造的灵活性与模型对于各种数据样本的通用性,并加入注意力机制测定物理连接关节之间的连接性与连接强度。同时引入区域关联图卷积,通过在关节特征与连接特征之间交替信息传递来捕获数据帧间各关节的非物理连接相关性。将区域关联图卷积、自适应图卷积与时间图卷积融合得到区域关联自适应图卷积网络,并加入骨骼的二阶数据对原有关节数据进行信息补充,融合两者构成双流网络提升识别网络的性能。其次,对于传统图卷积网络中时间图卷积与空间图卷积交替训练可能导致信息无法跨时空交流等问题,本文提出了一种基于时空融合图卷积网络的人体动作识别。引入可膨胀的滑动时空窗口,通过一种时空图卷积算子将连续帧间的时间信息与空间信息进行融合,利用密集的跨时空边作为跳跃连接,使得信息直接跨时空传播,从而捕获时空特征。然后通过将时空图卷积算子与一种新的时间图卷积相结合,提出一种时空融合图卷积网络。该网络首先运用时空融合路径和因式分解路径,在提取长时间特征信息的基础上进一步提取局部时空特征,然后再以同样的关节、骨骼双流网络框架提升网络的性能。最后,在NTU-RGBD和Kinect-skeleton数据集上实验表明,区域关联图卷积捕获网络对于非物理连接关节的潜在依赖性,自适应图卷积加强了网络对于结构的灵活性与数据的通用性,区域关联自适应图卷积网络对于人体单一动作的识别率有了一定的提升。时空融合图卷积直接从骨架图序列中建模时空依赖关系,使时间图卷积与空间图卷积进行融合,提取局部时空特征,能有效识别多动作合成的长动作。两种网络都通过双流框架提升分类性能。
其他文献
无线传感网是由大量传感器节点构成的,部署于有监测需求的区域内,用来监测紧急事件,从而评估事件的急迫性,以协调工作。传感器节点受其能量、通信、计算、存储以及部署环境恶劣等影响,通常会产生错误数据,使管理者无法做出正确决策。因此,在低能耗下对节点进行精准的故障检测是目前急需解决的问题。针对无线传感网中故障率高而导致检测精度低、能耗大问题,提出了基于时间序列与邻居协作的WSN故障检测算法。本文主要的内容
多机器人系统(Multi-Robot System,MRS)具有良好的自主移动性、灵敏性和强鲁棒性,能够很好的克服单机器人作业面临的瓶颈,被广泛的应用于工业生产的各个领域。多机器人系统如何协作完成智能工厂中高实时性的数据巡检任务一直是多机器人系统研究的热点,本文对多机器人系统协作进行数据巡检的任务分配及巡检任务所在车间的路径规划问题进行研究,合理的任务分配与路径规划不仅体现了多机器人系统的存在意义
矿山微震监测系统可以采集频率几赫兹到几千赫兹的多种震动信号,其包含的信息较为复杂,准确识别煤岩破裂的微震事件对于微震的定位及其震源机制的认识是最为关键的科学问题之一。微震事件的准确识别,决定了微震监测及预警技术的及时性和准确性。传统的微震事件识别方法大都需要人工手动提取特征,无法将分类器与特征提取过程相结合,过程繁琐复杂,而且多数都是浅层结构算法,对分类问题的泛化能力不强。深度学习模型被广泛运用于
元学习方法提出的初衷是为了解决标签样本量不足的问题,通过提前训练模型的初始化参数来加快模型的收敛速度。后续模型无关元学习(MAML)的出现更是显著提升了元学习思想的应用范围。一般以梯度下降法进行算法求解的模型都可以通过它来解决few-shot learning(小样本分析)问题。当前,元学习方法多应用于图片和自然语言处理场景,而化学材料数据分析也具有少样本、多任务的训练特性,属于较典型的小样本分析
事件抽取框架是构建一些特定领域知识图谱的关键必备内容,尤其是金融、医疗等新兴领域,这些领域对知识的需求量大、数据的时效性要求较高。事件抽取框架的目的是将发生的事件信息从文本中提取出来,形成包含事件信息的知识,为之后的知识图谱应用提供支持。传统的事件抽取框架中除了事件抽取方法,还会包含数据收集和数据标注部分,这些附加模块往往通过一些规则性方法来生成事件信息的标注。本文以众包的方式,使用人工标注平台,
理想的群集智能算法(Swarm Intelligence,SI)能够快速找到优化问题的一个可行解,其目的是尽快取得全局最优解,而非陷入局部最优。然而现有的群集智能算法往往存在收敛速度慢和易陷入局部最优的问题。羊群算法(Sheep Optimization,SO)是一种模拟羊群行为的新型群集智能算法,它根据群集智能算法的三种策略:全局探索、局部开发和跳出局部优化,分别通过模拟羊群的三类行为:头羊引领
自1960年代以来,基于TCP/IP协议的互联网在现代社会中发挥着越来越重要的作用,TCP/IP网络架构是一个以主机为中心的模型,该模型是根据早期互联网应用模式而开发的,例如提供连接性和共享资源。但是,随着计算机技术和网络应用的飞速发展,网络传输模式也从资源共享转变为内容分发与获取,人们关注的重点从“从何处获取内容”转变为“获取什么内容”。而最初为端到端通信设计的TCP/IP网络难以适应这种变化,
车辆驾驶过程中能否与障碍物发生碰撞直接关系到车辆的安全驾驶。由于采集的图像因外界干扰会出现图像失真,导致障碍物高度及车辆与障碍物间距的判断失误,最终发生车辆与障碍物的碰撞。因此,滤除图像中的混合噪声,更准确的判断安全行驶距离,预防碰撞事故的发生,对于汽车的安全驾驶有着重要的意义。本文针对当前采集图像中存在的缺陷设计并实现了一种基于高斯椒盐图像去噪的障碍物碰撞预警系统,为辅助驾驶人员的安全驾驶提供了