不同学习范式下的时序动作检测算法研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:hongyun64
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序动作检测任务旨在让计算机理解视频的局部时序内容语义并输出视频内的动作片段相关信息,具体为检测视频内动作片段的开始时间、结束时间以及所涉及的动作类别。考虑到视频数据人工标记的成本高昂,目前的研究热点是如何在降低样本标记成本的情况下完成时序动作检测任务,依据训练样本标记信息的完整程度可将时序动作检测任务细分为三种学习范式:1)提供完整帧级别标记的全监督学习范式;2)提供极少数帧级别标记的点监督学习范式;3)不提供任何帧级别标记但已知视频级别类别标记的弱监督学习范式。论文主要针对不同学习范式下时序动作检测任务的关键问题进行探索研究,具体内容阐述如下:(1)针对全监督学习范式时序动作检测中存在的动作片段尺度差异问题和动作片段间关系建模问题,提出一种基于多尺度截断注意力的全监督时序动作检测方法(MD-TAPN)。一方面,提出多尺度空洞模块利用多个尺度的时序空洞卷积层捕捉多尺度时序信息,以适应动作片段的尺度差异,提高模型对尺度变化的鲁棒性;另一方面,在使用图卷积网络对动作片段间关系进行建模的基础上,提出截断注意力机制增强动作片段间关联程度的学习,抑制负面关系所带来的不利影响,提升模型的分类定位能力。(2)针对点监督学习范式时序动作检测中存在的正例稀疏负例缺失问题,提出一种基于原型对比学习的点监督时序动作检测方法(PCL-PL)。其一,引入原型学习对各动作类别建模,将伪标记生成与模型的预测过程相互分离,缓解因模型自身错误预测导致的错误积累问题;其二,引入对比表示学习约束原型学习,利用相同类别原型之间的相似性和不同类别原型之间的异质性约束动作类别的原型特征表示学习;其三,利用映射空间内的特征关系进行无标记帧的伪标记生成工作,以更高的效率生成伪标记。(3)针对弱监督学习范式下时序动作检测中存在的动作上下文混淆问题,提出一种基于前景背景图记忆的弱监督时序动作检测方法(FBGM-Net)。一方面,使用图结构中记忆结点的对前景(动作内容)背景(非动作内容)的关键潜在模式进行表征学习,并利用视频帧与图结点之间的关联性增强视频帧特征表示的判别性;另一方面,设计前景背景分离约束项,通过约束前景帧和背景帧分别与不同记忆结点构建高关联性,使得记忆结点趋向于学习区分度更高的前景与背景潜在模式。对于研究工作(1)(3),在运动数据集THUMOS14和日常活动数据集ActivityNet上开展了大量定量实验、消融实验以及定性实验。依据评价指标mAP@tIoU,实验结果表明所提MD-TAPN和FBGM-Net方法具备相比现有方法更好的时序动作检测性能。多尺度空洞模块能够更好地捕捉不同尺度提议的时序信息,截断注意力机制能够抑制提议间的负面影响以更好地利用提议间关系;前景背景图记忆模块与前景背景分离约束项相结合能提升模型对动作内容与非动作内容的区分能力。对于研究工作(2),在日常活动数据集GTEA、BEOID以及运动数据集THUMOS14上开展了大量定量实验、消融实验以及定性实验。实验结果表明所提的PCL-PL具有更好的综合性能,其结合原型学习与对比表示学习技术以准确且高效的伪标记生成方法缓解正例稀疏负例缺失问题。
其他文献
细粒度图像分类是用来区分同一类别下不同子类的。由于该任务存在类间视觉差异细微的难点,细粒度分类任务相对于通用分类更具挑战,如何从图像中学到更具判别性的局部特征是解决此问题的关键。在现有细粒度分类方法中,双线性模型和破坏重建模型被认为是应对细微类间差异最有效的两种模型。双线性模型可以不依赖额外标注信息,通过特征交互自主挖掘判别性特征。破坏重建模型则通过打乱图像的全局语义信息生成破坏图像,迫使网络去学
学位
印刷线路板(Printed Circuit Board,PCB)的缺陷检测已经成为电子制造业保证产品质量和降低制造成本的关键过程。目前自动光学检测(Automatic Optic Inspection,AOI)是PCB缺陷检测的主要发展方向,AOI首先将标准图像和采集图像进行配准,然后再对两者进行比对和缺陷识别。在该过程中图像配准的优劣直接影响缺陷检测的效率和精度。PCB图像具有高分辨率的特点,现
学位
数字水印以人眼不易察觉的方式将秘密信息隐藏在载体对象中,以实现对目标的版权保护、身份认证、篡改检测等。其中,可逆水印技术能够无损恢复原始数字载体,在如档案图像、医学图像、军事图像等对原始数据有高质量要求的领域具有重要的意义。近年来,深度学习技术发展迅速,在很多研究领域都取得了巨大突破。但由于可逆水印算法往往涉及一些复杂而又巧妙的机制设计,以此在保证可逆性的同时兼顾水印容量和图像质量,而深度神经网络
学位
作为现代经济的核心,金融既是实体经济的血脉,也深刻影响着收入分配。但近年来,金融“脱实向虚”的趋势和经济金融化的问题不断凸显。经济金融化具有自发性,需要政府进行调控干预。从引致增长的效应看,节制的金融化有助于社会财富收入的增长,但过度的金融化则会产生抑制作用和增长停滞效应;从引致贫困的效应看,金融化会拉大贫富差距,过度的金融化将严重拉低劳动者参与社会财富分配的份额,无益于我国按劳分配的主体分配制度
期刊
碰撞检测是虚拟仿真模拟中的一个重要研究问题。随着虚拟环境的复杂度不断增大,虚拟仿真应用对物体碰撞检测精度和速度的需求也逐渐提高。目前的层次包围盒碰撞检测算法已经在准确性方面达到了一定的效果,但是随着虚拟环境复杂度的提升,其实时性需要进一步提高。因此,通过对不同类型包围盒的特点进行综合分析,本文对传统混合包围盒碰撞检测算法进行改进,主要研究工作如下:(1)对基于双重结构的层次包围盒碰撞检测算法进行改
学位
给定一张图像和一个自然语言描述的关于图像的问题,视觉问答任务旨在学习模型,根据问题对图像内容进行细粒度理解,并在此之上展开视觉推理以给出准确的预测答案。该任务是近年来人工智能、计算机视觉等领域的研究热点。现有视觉问答方法通常只关注图像中的视觉物体,忽略对图像中关键文本内容的理解,从而限制对图像内容理解的深度和精度。为解决该问题,针对图像中场景文本理解的“场景文本视觉问答”任务应运而生。为理解图像中
学位
高端瓷砖对图案精度要求非常高,一般通过工业3D打印机在瓷砖毛坯上打印图案再烧制完成。工业3D打印机有6~12个通道,每个颜色喷头有4个量化级别。将标准图像格式的瓷砖设计图分成打印机对应的6~12个通道,得到分色图(256个量化级别),再将分色图转换为颜色喷头所需的多级半色调图(4个量化级别),这个过程被称为半色调过程。据调查,分色和多级半色调图生成技术及其系统基本都是国外控制,因此,这类关键技术给
学位
无线能量传输(WET)通过电磁波为散落的传感器节点持续供电,从而使无线传感器网络(WSN)的使用寿命得到延长。但是,提供的能量可能仍然无法满足传感器节点的能量需求。这个问题可以通过部署冗余传感器节点来缓解。同一监测区域内可部署多个传感器节点,它们同时接收能量以增加收集的总能量,并执行休眠/唤醒调度减少每个节点的能量消耗。针对不同场景,本文研究了冗余部署模型在无线传感网络(WSN)中应用的问题。(1
学位
当前,精于理性计算的智能系统还不能自然地与人类进行情感交互。为了实现真正的人类智能(语义理解+记忆情感),研究者们提出了情感计算的概念,希望赋予计算机识别和表达情绪的能力。现实场景中人们主要通过表情、姿势和声音来强调特定的观点或表达情绪。这种方式不仅涉及到词汇/语法,而且视觉和听觉也是重要的信息传达方式。为了准确识别人类的情绪,我们需要开展相应的情绪分析工作:结合深度神经网络技术实现多模态数据——
学位
多轮文本对话是人机交互的重要方式,是当前工业界和学术界的热门研究方向。近年来,随着智能对话系统的发展,人们开始更青睐那些能给予情绪支持的对话系统。这种具有情绪支持能力的对话系统,可以识别出求助者低沉的情绪,在表达同理心和安抚情绪的同时帮助其寻求解决困难的途径,以缓解求助者情绪压力。然而如何根据对话上下文准确地识别用户的情绪状态,如何为用户提供有效的情绪支持,是情绪支持对话任务的难点问题。立足于这两
学位