基于关系建模的弱监督时序动作定位

来源 :中国科学技术大学学报 | 被引量 : 0次 | 上传用户:gbyljk008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时序动作定位因其广泛的实际应用成为重要且具有挑战性的方向.由于全监督定位方法需要大量的人力对长视频进行视频帧或视频片段级别的细腻标注,近些年来,弱监督学习受到了越来越多的关注.弱监督动作定位在训练阶段只需提供视频级别类别标签,即可定位出视频中动作的区间位置.然而,大多数现存的方法往往只对独立的视频片段进行分类损失约束,而忽略了这些视频片段之间的关系.本文提出一种新的关系感知网络实现了基于弱监督的行为时序定位.通过考虑对视频内和视频间的片段进行关系建模,从而学习出更加鲁棒的视频动作定位特征表示.具体来说,视频内关系模块的目的是使得网络预测出更加完整的动作,而视频间关系模块的目是将动作从高度依赖的背景中分离出来.通过在THUOUS14,ActivityNet1.2/1.3等三个公共基准定位数据集上进行实验,与最新的方法比,我们提出的方法取得了更好的结果.“,”Temporal action localization has become an important and challenging research orientation due to its various applications. Since fully supervised localization requires a lot of manpower expenditure to get frame-level or segment-level fine annotations on untrimmed long videos, weakly supervised methods have received more and more attention in recent years. Weakly-supervised Temporal Action Localization (WS-TAL) aims to predict action temporal boundaries with only video-level labels provided in the training phase. However, the existing methods often only perform classification loss constraints on independent video segments, but ignore the relation within or between these segments. In this paper, we propose a novel framework called Relation Aware Network ( RANet) , which aims to model the segment relations of intra-video and inter-video. Specifically, the Intra-video Relation Module is designed to generate more complete action predictions, while the Inter-video Relation Module is designed to separate the action from the background. Through this design, our model can learn more robust visual feature representations for action localization. Extensive experiments on three public benchmarks including THUMOS 14 and ActivityNet 1. 2/1. 3 demonstrate the impressive performance of our proposed method compared with the state-of-the-arts.
其他文献
在经济学、医学等领域,如何比较两个分布的占优关系一直是人们关注的话题.通常会比较平均值或中位数.然而,具有更高均值的总体可能并不是最优的选择,因为它也可能具有更大的方差.随机占优为这个问题提供了一个很好的解决方案.那么,如何检验两个分布之间的随机占优就值得讨论.本文研究了密度比模型下高阶随机优势的检验统计量.此外,给出了检验统计量的渐近性,并使用自助法获得p值从而做出决策.模拟结果表明本文提出的检验统计量具有较高的功效.“,”In economics, medicine and other fields,
利用Hall匹配定理,研究了在不同参数限制条件下围长为3或4的amply regular图的林-陆-丘曲率下界估计.作为推论,我们证明每一个会议图均有正的林-陆-丘曲率.我们的方法在围长为4以及一些特殊的围长为3情形为amply regular图的一个经典直径估计提供了几何证明.“,”By Hall\' s marriage theorem, we study lower bounds of the Lin-Lu-Yau curvature of amply regular graphs with g
研究了扭Kloosterman和Kl(q,a,χ)和部分高斯和g(q,a,χ)的生成域.我们要求特征p相对于 χ的阶d充分大,且系数a的迹非零.当p≡±1 mod d时,可以确定这些特征和的生成域.对于一般的p,当a落在底域中时,提出了一个关于(p,d)的组合条件以得到生成域.“,”The generating fields of the twisted Kloosterman sums Kl ( q, a, χ) and the partial Gauss sums g( q, a,χ) are stu
生态环境恶化、自然资源短缺问题日益严峻,为减少企业对生态环境的负面影响,企业需改变和调整相关生产计划.本研究在考虑碳排放权交易机制、产品回收机制以及企业面临有限生产容量、工作时间和碳排放权配额的情形下,对多产品制造系统中产品生产计划问题进行了研究.在量-本-利分析的基础上,本研究提出了一个利润最大化模型来刻画生产优化问题.在该模型中,成本结构包括产品生产成本、产品持有或短缺成本、产品回收成本和碳成本;收入结构包括产品销售收入和产品回收收益.根据利润最大化模型和数值算例,本研究分析了企业最优生产和回收决策.
大数据驱动的旅游流网络结构研究是旅游流深化研究的主要方向之一.利用网络爬虫技术抓取携程旅行网上中国市域尺度的旅游线路及相关数据,在构建O-D矩阵的基础上,揭示网络结构指标的空间分异及其效应.中国市域旅游流网络具有以下特征:网络同质性较小;不同主题类旅游流流量总体上遵从东多西少、东南多西北少的总体格局;中国市域旅游流网络形成了五大高值集聚区,分别为长三角城市群、泛珠三角地区、云南内部、青海—甘肃交界地区、北疆地区;中国市域旅游流网络还具有显著的资源—经济指向性,“结构”效应总体不显著.未来需要进一步重视区域
自然资源在国家发展中扮演着重要角色.十九大以来,党和国家对自然资源管理保持高度重视,我国自然资源管理的体制、制度以及理念方法不断变革创新,逐步形成了较为符合我国国情的管理体系和模式.然而,管理实践中仍然存在诸多不足和矛盾.从我国自然资源管理体制和制度建设的现状着手,从管理对象、管理主体和管理保障三个方面,阐明自然资源管理体制和制度建设的发展困因,总结凝练当前制约管理实践发展的突出现实问题,并从构建国家安全视角下的多维自然资源管理体系和建立健全自然资源管理制度体系两个方面,为我国自然资源管理体制改革和制度建
光动力学疗法(PDT)是一种依赖于氧气的新兴治疗手段,但是由于肿瘤部位血管供氧不足,乏氧微环境极大抑制了光动力学疗法的治疗效果.因此,如何缓解肿瘤乏氧是发展PDT的关键问题和焦点所在.全氟化碳是一类可以有效携载氧气的化合物,是目前常用的血液替代品之一.我们通过全氟化物纳米颗粒携载氧气和光热药物吲哚菁绿(ICG),并包被红细胞膜进行仿生伪装,从而降低巨噬细胞对颗粒的摄取,提高颗粒的循环能力和在肿瘤部位的富集,结合光动力疗法,有效缓解肿瘤部位乏氧情况,增强光动力效果,为肿瘤治疗提供了新思路.“,”Photod
在2020年,COVID-19疫情引起全世界的关注,政府宣布了一系列非药物干预措施去遏制社会活动对传播的影响.各国不同力度的政策带来了相异的结果.为了评估这些行动的有效性,量化移动效应成为了关键问题.改变人群活动后,传播率是变化的且难以计算这种变化.因此,本文以一些欧洲国家为研究对象,收集各个国家在一些时期的人群移动情况以及每日的新增数据,并提出了流动-易感-暴露-感染-恢复(M-SEIR)模型.与SEIR模型不同,M-SEIR模型中加入了一个量化控制措施影响的变量σ(t).采用随机抽样得到初始不同状态的
自然资源是保障经济社会发展的重要物质基础,同时又发挥了重要的生态服务功能.选取水源涵养、水土保持、防风固沙、生物多样性维护和产品提供五类生态服务,采用NPP定量指标法识别中国自然资源生态服务的重要区域,并进一步分析空间格局特征.结果 表明:中国自然资源生态服务极重要和高度重要区约占总面积的1/4,以东北山地、江南地区、西南地区和青藏高原东部等水源涵养能力强、水土保持较好、防风固沙水平高、生物多样性较丰富的地区为主;不同类型自然资源的生态服务重要性差异显著,耕地资源的产品提供服务重要性显著,林地和草地资源的
研究了我国A股上市公司的要约收购问题.应用非参数方法和分段线性回归模型表明要约收购的定价具有锚定效应,发现历史收益正影响收购后的溢价.此外,使用logistic回归模型发现,历史收益显著正影响收购的成功率.采用事件研究的方法,揭示了异常收益和异常交易量在公告日达到峰值,并且发现在要约收购中存在可能的信息交易者.“,”This article studies the tender offers of Chinese A-share listed companies. We apply the nonpara