基于时空DenseNet的人体动作识别

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:q137301947
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉领域的快速发展,使得计算机对视频内容进行理解变成了可能。人体动作识别作为视频理解中最为重要的部分之一,是计算机视觉领域一个热门且极具挑战性的研究方向。人体动作识别具有广阔的应用前景,在日常生活中的各个领域(比如自动驾驶辅助、体育动作分析和智能视频监控等)发挥着重要的作用。但是,当前人体动作识别依然存在较多挑战性因素尚未被很好地解决,比如不同个体间的差异和运动速度的不同,可能造成人体动作的类内差变大而类间差变小的情况;视频中的光照、视角变化等问题对最终的识别结果造成影响等等。本文在充分总结前人研究工作的基础上,分析当前人体动作识别领域的不足,进而提出基于时空的DenseNet算法解决视频分析中的人体动作识别问题。本文的主要工作贡献在于:首先,本文提出了三维DenseNet。由于视频是由图片序列组成的,仅对于单张图片提取特征会导致视频在时间维度上的信息丢失。为了得到时间维度上的信息,本文将用于单张图片分类的DenseNet网络模型从二维扩展到三维,使网络模型能够在时间维度上对视频图片序列进行特征提取,引入三维卷积和三维池化操作,有效应用于人体动作识别。然后,本文提出了基于时空DenseNet的人体动作识别方法。以三维DenseNet作为基础网络结构,构建时空DenseNet。时空DenseNet网络具有两条信息流,空间流和时间流,空间流网络接受固定长度的图片序列作为输入,时间流网络接受固定长度的动态信息图序列作为输入。空间流网络和时间流网络各自的预测结果在最终分类层进行融合,得到动作识别结果。此外,由于视频序列的时间信息和空间信息是独立而又相互联系的,本文还在时空DenseNet的空间流和时间流之间进行了时空信息融合。为了更好的提取时空特征,本文提出了不同的融合策略和融合方式,在实验中探究了时空DenseNet模型在不同时空融合方式和不同时空融合结构下的模型效果,并对其进行了分析和总结。最后,本文在UCF101和HMDB51人体动作数据集中测试了本文提出的基于时空DenseNet的人体动作识别方法。实验结果表明,本文提出的方法在这两个数据集上的准确率分别达到了 93.1%和68.7%,这一结果优于当前最常用以及性能优越的算法,并且在HMDB51数据集上准确度提升了 2.3%。同时,本文方法的模型参数数量相较于其他网络而言减小了至少十倍,有助于降低网络模型复杂度,加速训练和测试过程。
其他文献
在国网山东电力指导下,枣庄公司着力推进社会责任优化总经理办公会决策的试点工作,以“村村强网”工程作为试点议题,开展决策实践,取得了积极成效。
新媒体的发展对广播电视节目产生了巨大的冲击,造成了广播电视媒体受众和广告的分流。新媒体环境给广播电视节目发展带来了机遇和挑战,社会对广播电视节目提出了更高的要求,
目的观察左乙拉西坦对伴中央-颞区棘波的良性癫痫患儿脑电图的影响。方法符合诊断标准的癫痫儿童随机分为2组,卡马西平组(40例)用卡马西平治疗,左乙拉西坦组(40例)用左乙拉西坦治
分析了黄土高原传统窑居村落文化特征与枣园新村的文化特征 ,阐述了文化重构的社会环境因素及黄土高原传统村落所面临的文化冲突 ,最后通过对枣园新村文化重构实践经验的总结
欢乐的精灵:雪莱的《给云雀》雪莱是十九世纪英国诗坛上冉冉升起的一颗巨星,被恩格斯誉为“天才的预言家”。诗人在青年时便背叛了他的贵族出身,在牛津大学求学期间因散发自
近年来,尺寸在纳米级别的电极因具有小的充电电流、快的传质速率和更小的溶液阻力等优点使其在化学研究领域得到广泛的应用,比如在电子传递动力学、扫描电化学显微镜(SECM)中
目的:探讨我国成年人基线体质指数及其9年间的动态变化与高血压发病的关系。方法:利用中美合作课题"中国健康与营养调查"1997年和2006年的追踪数据,选择3737例具有两次调查完
【正】 出现于十九世纪下半叶的早期中国资产阶级改良主义者中间,有一些人原来是洋务派大官僚的门客。他们的改良主义思想是由洋务派中发展出来的。洋务派只求搬用西方技术,
在汽车正面碰撞事故中,驾驶员踝关节损伤机理复杂多样。现阶段足踝损伤研究中,实验研究载荷较为单一、加载条件简化、样本易变性、试验次数相对较少以及试验样本在材料属性的
目的:探讨我院气管切开术后并发肺部感染的临床特征和相关危险因素,早期护理干预可有效改善预后。方法:回顾2015年6月—2019年3月在我院住院164例气管切开术后患者的临床资料