视频时序动作检测研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:westbulls
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着多媒体技术的发展及数字化设备的快速普及,网络中的视频数据呈爆炸式增长。如何快速、准确、高效地分析体量庞大而无组织的视频数据成为研究人员亟待攻克的重要课题。作为机器学习中的重要分支,深度学习已在图像分类和检测领域取得重大突破,因此,研究人员着手将神经网络引入视频理解问题。目前视频理解问题已衍生出时序动作检测、行为分析、视频摘要、目标追踪等任务。其中,时序动作检测算法在医疗监控、国家安防等众多领域具有广阔的应用前景。时序动作检测是计算机视觉领域中一项重要的任务,不仅要识别长视频中各个动作实例的精确动作区间,还应判断动作类别。其难点在于两点:一方面,动作的边界定位对于时序信息较为敏感,精确捕捉时序信息至关重要;另一方面,视频中动作实例的时间跨度变化可能较大,这对网络的长时序信息的捕捉能力要求较高。本文基于深度学习架构,提出了一种时域候选区域优化的时序动作检测方法(Temporal Proposal Optimization,TPO)。该方法利用卷积神经网络提取局部细粒度的时序信息,引入双向长短期记忆网络和级联时序分类优化方法提取全局整体的时序信息,联合利用两类信息构造视频的边界概率曲线、局部动作概率曲线和全局动作概率曲线;再基于边界概率曲线构造时域候选,并融合两条动作概率曲线,对时域候选区域进行优化及排序,最终实现时序上的动作检测。TPO通过引入双向长短期记忆网络和级联时序分类优化方法,有效地对视频中的长时序依赖建模;基于单元级概率预测的策略来提取时域候选,有效地处理动作实例的时间跨度变化较大的问题。本文模型克服了上述时序动作检测问题中的难点。实验表明,在动作时域候选生成和时序动作检测两个任务中,TPO均带来性能的提升。
其他文献
基于声表面波驻波(SSAW)的分选技术已经成功实现粒子和循环肿瘤细胞(CTC)的无标记分选。无透镜成像系统在没有聚焦透镜的情况下能够实现粒子/细胞等微小粒子的成像检测。为实
在过去的几十年中,互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)工艺主导了主流的硅基集成电路技术。随着CMOS集成电路进入纳米尺度,工作频率和集成
自全民健身计划的提出到《“健康中国2030”规划纲要》再到党的十九大提出“健康中国战略”,人民的健康已经上升到整个民族身心发展的战略地位,全民都加入到健身行列,健身气
干净的空气是人类赖以生存的条件,随着雾霾天气的严重恶化,国家对环境保护问题愈发重视。雾霾主要来源于煤炭的燃烧和汽车尾气,煤炭燃烧效率低造成废气中含有大量的雾和霾,所
硒(Selenium,Se)是人和动物不可缺少的必需微量元素,具有抗氧化、抗癌和抗病毒等功能。由于人和动物对硒的摄取主要来源是植物,且硒是通过植物吸收进入食物链的,所以硒对植物的
随着地面沉降现象的不断增多,大面积地表形变监测已成为一种发展趋势,近年来,鲁西地区由于煤炭及深层地下水的开采量不断增加,导致该地区地表形变范围也在逐年扩大,本文利用P
两转一移(2R1T)三自由度并联机构具有广阔的工程应用前景,是机构学领域和工业领域中被关注的焦点。本文以两种2R1T三自由度并联机构为研究对象开展了运动等效并联机构理论研究,体现了从运动等效机构的演化到运动/力传递性能分析及尺寸优化设计,再到机构间约束性能对比分析的一整套研究思路,在帮助避免领域内出现一些重复性工作的同时也为实际工程应用背景下并联机构的设计提供了尺寸参考和更多潜在的的构型选择。本文
随着世界的飞速发展,现代网路中需要传输的信息量正在以多次方的速度增加,网络中需要处理的数据量也随之增加,尤其是随着5G网络的铺设与普及,这对网络处理数据的性能是一个极
滚动轴承是水泥生产线的关键设备的重要组成构件,其工作环境恶劣,工作强度大,是故障频繁发生的位置,一旦发生故障会影响整个水泥生产线的生产,产生安全隐患,给水泥厂造成经济
天然气作为当今世界最为绿色、高效的优质能源之一,被世界各国人民广泛使用。随着全球经济的快速发展和人类生存环境的不断恶化,人类对天然气的需求量急剧提升。因此,对城市