【摘 要】
：
人体姿态估计和跟踪是计算机视觉领域的经典问题,该任务既涉及底层的特征表达,又为高层的动作识别、场景理解提供支持,因此具有重要的理论意义。近年来,随着网络视频大量涌现,视频中人体姿态估计和跟踪任务受到广泛关注,在人机交互、智能监控等领域拥有了更广泛的应用价值。视频人体姿态估计具有挑战性,将现有的针对静态图像的人体姿态估计算法直接用于视频序列,性能大大降低,因为这些方法通常缺乏对视频序列之间的时空相关
论文部分内容阅读
人体姿态估计和跟踪是计算机视觉领域的经典问题,该任务既涉及底层的特征表达,又为高层的动作识别、场景理解提供支持,因此具有重要的理论意义。近年来,随着网络视频大量涌现,视频中人体姿态估计和跟踪任务受到广泛关注,在人机交互、智能监控等领域拥有了更广泛的应用价值。视频人体姿态估计具有挑战性,将现有的针对静态图像的人体姿态估计算法直接用于视频序列,性能大大降低,因为这些方法通常缺乏对视频序列之间的时空相关信息的有效利用,在人体运动模糊,视频散焦和相机抖动等帧退化场景下效果较差。人体姿态跟踪任务现有的方法主要遵循基于检测的跟踪的多阶段框架,然而这种多阶段框架通常比较冗杂,时间效率较低,且容易造成误差积累。针对这些问题,本文的主要工作有:（1）提出了一个通用、快速的在线多人姿态跟踪框架,该方法遵循联合检测和跟踪思想,针对现有的多阶段姿态跟踪框架效率低的问题,将人体检测,姿态估计和跟踪任务统一到一阶段模型中。本文采用基于中心点的表征思想,通过一个共享的主干网络分别计算每个人体实例的中心点、关键点以及相对于前一帧的偏移量。针对姿态关键点定位需要更细粒度的表征,本文在特征提取网络中添加了期望最大化自注意力模块。此外,针对大多数公共姿态跟踪数据集中的姿态移动方式（更多的是局部运动而不是全身运动）,本文定义了人体姿态相似度,并提出了一个轨迹管理策略,以恢复在过去帧中丢失的ID。本文在Pose Track 2018数据集开展实验,算法模型在Pose Track 2018数据集上达到了61.0 AP和49.7 MOTA的准确度,速度为4 FPS。（2）针对视频中出现的帧退化问题以及传统基于图像的方法缺乏对视频帧间时间依赖性和空间一致性的捕捉,提出了一种融合时空信息的多帧人体姿态估计模型,利用视频序列之间丰富的时空信息进行姿态关键点检测,该模型包含三个主要单元:姿态时间信息合并单元、姿态时间信息残差单元、姿态修正单元。姿态时间信息合并单元对关键点时空上下文进行特征融合,扩大了关键点有效搜索范围;姿态时间信息残差单元通过做差的方式计算前后帧的姿态残差来获取关键点在帧间的偏移信息;最后将上述的时空信息输入到基于双重注意力机制的姿态修正单元,对特征进行重构,从而获得精细的关键点位置信息。该模型能够有效利用视频帧序列中的时空信息,本文通过和Baseline方法的对比以及各个模块的消融实验证明了算法的有效性。
其他文献
基于可重构处理器进行深度卷积神经网络（Deep Convolutional Nerual Network,DCNN）算法加速已经是一种广泛的技术,其中稀疏神经网络加速是研究的热点。然而,绝大多数声称拥有高算力的计算设备并不能在高效率,低延迟以及低功耗下运行神经网络算法,因此在对多样的计算场景下,神经网络加速器在效率、延迟、和功耗方面依然有很大探索空间。本文研究了稀疏神经网络硬件加速中的三项关键技术
随着计算机技术与人工智能的发展,利用数字化智能化手段实现视频人体行为分析已成为重要的研究课题。人体行为分析领域中存在不同模态的数据输入,包括RGB图像、人体骨骼数据等。基于RGB图像的相关研究已广泛应用于智能视频监控,而基于人体骨骼数据的研究则广泛应用于人机交互、舞蹈文化保护等需要识别动作细粒度属性的应用。在此背景下,本文针对视频图像、人体骨骼数据展开对视频人体行为分析关键任务的研究与应用。由于视
碳量子点（CQDs）作为一种新型的碳纳米材料,因其具有优异的荧光特性、高生物相容性、良好的水溶性等特点,被广泛应用于生物、环境等领域。在CQDs的生产和使用过程中,进入环境的数量必然增加。土壤是地球化学元素循环的重要组成部分,也是纳米材料的归宿,纳米材料的释放可影响土壤酶活性及微生物群落结构。微生物介导的异化铁还原将Fe（Ⅲ）还原成Fe（Ⅱ）,并从这一过程储存生命所需能量,该过程对土壤的元素循环、
抗生素耐药性一直是世界范围内的重大公共卫生问题,需要尽快寻找新的抗菌策略,帮助解决细菌耐药性危机。抗毒力信号策略通过特异性地干扰细菌的信息传导系统,降低细菌的致病性,这种策略不会直接杀死细菌,对于细菌耐药性施加的选择压力较小,不易导致产生新的耐药菌。群体感应（QS）是细菌之间的信号转导机制,它依赖于细菌的密度,通过信号分子来控制细菌的群体行为。其中喹诺酮（pqs）系统通过Lys-R型转录调节因子P
近年来,由于光能具有绿色清洁、高度可调、安全性高等优异特性,光化学在能源转型和能源革命如火如荼的时代背景下,已经引起了众多学术界内与工业界内科研工作者们的广泛关注。而有机三重态光敏剂相关研究,作为现代分子有机光化学学科的一个重要发展方向,已在材料科学,生命科学,合成科学,环境科学,能源科学,通信科学等各个前沿领域取得不少的进展与成果。其中,尤其是氟硼吡咯（BODIPY）,因其强可见光吸收能力与易于
为了解不同苗龄江南油杉造林的早期生长情况，对广西黄冕林场不同苗龄江南油杉的试验示范林进行调查，并对1～2年生幼树树高生长开展试验分析。结果表明：试验林造林成活率均在88.89%以上，不同样地差异不大，不同苗龄的成活率随着苗龄增大而提高。不同样地江南油杉树高H1、H2仅3年生苗存在着显著差异，但不同苗龄间H1、H2差异显著。样地与苗龄的因子效应分析表明，苗龄为树高生长的主要因子且在H1、H2上存在着
【目的】探究不同移栽苗龄对基质栽培黄瓜生长生理以及产量的影响，以期筛选出基质栽培条件下黄瓜幼苗适宜的移栽苗龄。【方法】以新春四号黄瓜为试材，共设T1（四叶一心）、T2（三叶一心）、T3（二叶一心）和T4（一叶一心）4个苗龄处理，研究移栽不同苗龄黄瓜幼苗对植株株高、茎粗、根系活力、叶绿素含量、光合参数、荧光参数以及产量等指标的影响。【结果】T3处理黄瓜植株株高显著高于其他3个处理。T3处理根体积最大
随着信息技术和互联网的快速发展,数据资源越发丰富,且数据间的关联也更加复杂多变,仅仅依靠简单文字匹配的信息服务已经难以满足用户需求,知识图谱（Knowledge Graph）应运而生。知识图谱不仅可改良信息服务,其蕴涵的丰富语义关联信息,在知识问答、辅助推理、个性化推荐等领域也表现出重要的应用价值。作为图谱表示的关键技术,知识图谱嵌入（Knowledge Graph Embedding）是将其应用
本文论述了七例不同的新型硼酸盐晶体材料,通过单晶X射线衍射表征了它们的结构,通过固体紫外可见漫反射光谱、红外光谱、X-射线粉末衍分析（PXRD）和元素分析进一步表征了它们的结构。还通过热刻蚀制得了一系列硼酸盐基催化剂,测量了系列催化剂的氧还原反应（ORR）催化活性。化合物Co2（DMEDA）3[B5O7（OH）3]2（DMEDA=N,N-二甲基乙二胺,1）与化合物Zn2（DMEDA）3[B5O7（