【摘 要】
：
弱监督时序行为定位的任务是定位长视频中动作实例的起止时间并判断动作类别,其训练数据是仅包含视频级行为标签的视频集合。基于弱监督学习的时序行为定位算法,正是由于训练模型只需要视频级标签,无需花费太多成本对视频中的行为进行精确的时序边界注解,而成为视频理解领域的研究热点。近年来,弱监督时序行为定位研究成果一直层出不穷,但在性能上与全监督时序行为定位方法相比仍存在差距,其主要原因在于缺少细粒度时序边界注
论文部分内容阅读
弱监督时序行为定位的任务是定位长视频中动作实例的起止时间并判断动作类别,其训练数据是仅包含视频级行为标签的视频集合。基于弱监督学习的时序行为定位算法,正是由于训练模型只需要视频级标签,无需花费太多成本对视频中的行为进行精确的时序边界注解,而成为视频理解领域的研究热点。近年来,弱监督时序行为定位研究成果一直层出不穷,但在性能上与全监督时序行为定位方法相比仍存在差距,其主要原因在于缺少细粒度时序边界注解。目前,已有的弱监督时序行为定位成果还存在以下两个问题:一是无法有效抑制和动作相似的背景区域,二是无法对上下文信息有效建模。因此,本文主要针对弱监督时序行为定位任务中的背景和上下文抑制问题,构建深度学习模型,主要工作有以下两点:（1）提出一种背景抑制模型。该模型通过背景过滤模块为动作片段设置高注意力权重,为背景片段设置低注意力权重,并基于这些权重对片段特征执行加权平均池化操作,获得突出动作信息的视频级特征,实现抑制背景区域以及增强动作区域的目的,从而准确地从背景中区分动作。背景抑制模型主要针对长视频中和动作相似的背景区域被识别为动作的问题而被提出。为了验证该模型的有效性,在THUMOS14以及ActivityNet1.2数据集上进行模型训练与测试。实验结果表明,与其他先进算法相比,背景抑制模型实现了更优的性能。在THUMOS14数据集上,IoU为0.5时性能至少提高了 1.2%;在ActivityNet1.2数据集上,平均性能至少提高了 0.3%。（2）提出一种多分支注意力加权模型。该模型集成双分支注意力模块生成视频片段的动作和背景注意力权重,并考虑到一个片段的上下文注意力权重与该片段的动作和背景注意力权重之间存在协相关关系,设计使用背景和动作注意力权重之差构造上下文注意力权重;然后,基于三类权重为分类分支生成的基础类别激活序列加权,分别得到动作、背景以及上下文激活序列,从而保证动作、背景以及上下文的分离。多分支注意力加权模型主要针对无法为上下文信息有效建模问题而被提出。为了综合评估该模型的性能,使用THUMOS14以及ActivityNet1.3数据集进行实验。实验结果表明,多分支注意力加权模型可以有效地抑制背景和上下文区域,在上述两个数据集上,平均性能分别提升了 1.4%和 0.7%。
其他文献
随着运算能力的大幅提升,基于深度学习的人体行为识别技术成为计算机视觉相关领域的研究焦点,被广泛应用于人机交互、智能监控和虚拟现实等领域。人体行为识别技术相比传统的图像检测技术,需要处理时序信息,仍存在许多建模优化问题。首先,人体行为时间跨度长短不一,为时序特征建模带来困难;其次,模型提取的特征未区分不同时间、空间和通道的重要性,研究如何突出重要特征具有重大意义;此外,用于人体行为识别的深度学习模型
随着社会经济的不断发展,我国建筑能耗呈逐年上升的趋势。建筑能耗中高校建筑能耗占比较大。教学建筑作为学生及教师使用较为频繁的场所之一,又是高校建筑中能耗较高的建筑类型。建筑使用人员的时空分布是建筑能耗的一个重要影响因素,而教学建筑的一大特点是受课程安排、自习室开放策略高度影响的人员时空分布优化是可优化调节的。但是,现有以节能为目的教学建筑人员时空分布优化研究其能耗模拟均采用简化的经验公式,缺少较为精
＜正＞随着人工智能技术的快速发展,越来越多的领域开始应用这项技术。人工智能技术推动了世界新业态的发展,实现了技术赋能经济形态,从而产生社会变革——对人工智能人才的需求越来越大、要求越来越高,也对应用型、创新型和技术型人才的培养提出了更高要求,对高等职业教育中人工智能课程的教学提出了新的挑战。本文针对人工智能课程教学的实际特点,设计研究项目式教学模式,构建“主线是项目、学生做主体、教师为引导”的教学
生物质具有价格低廉、来源广泛、可持续生产和可再生等优点,有潜力为全球化工行业的发展提供现成、丰富和持续的碳基材料。中国是农业大国,农林废弃物作为废弃的生物质原料,数量巨大且种类丰富。等外品牛蒡、玉米秆、竹粉、木屑等农林废弃物通常被当作低值燃料焚烧或废弃,这不仅造成资源的浪费,没有体现其经济价值,还对人们赖以生存的环境产生了负面影响。呋喃醛是生物质制取能源物质的重要平台化合物,使用酸催化可以快速、高
图像分类技术广泛应用于现实生活中。然而,在许多场景中,需要对外观十分相似的类别进行区分,传统的图像分类算法已经无法满足这一需求。因此,细粒度图像分类问题逐渐成为计算机视觉领域的研究热点。近年来,深度学习技术在该领域取得了巨大的成功,但其中的挑战与困难依然存在。首先,影响分类效果的差异性信息存在于较小的部件区域,如何使特征向量中包含更多差异性信息成为当前亟待解决的问题。其次,局限于使用部件特征会出现
目的 探讨经肱骨内髁小切口克氏针交叉内固定治疗儿童肱骨髁上骨折的疗效。方法 采用经肱骨内髁小切口置入克氏针交叉内固定治疗21例肱骨髁上骨折患儿。记录手术相关指标，采用Khalfayan评分评价肘关节功能恢复情况。结果 患儿均获得随访，时间6～45个月。手术时间40～60 min。术后无尺神经损伤症状、肘关节骨化性肌炎及骨萎缩体征表现、肘内翻畸形、骨折再次错位及移位等情况发生。骨折均愈合，时间4～1
本文结合“人脸识别门禁”项目教学实践，开展了基于STEAM项目式学习的高中人工智能课程设计与实施，希望能启发一线教师将人工智能课程设计与实施向深处走、向实处做，助力高中人工智能教育的落地推广。
随着信息技术的飞速发展,众包作为一种集群体智慧、灵活有效解决问题的新型商业模式应运而生,并以其“低成本,高回报”的独特优势推动了各种网络平台的发展。越来越多的个人、公司、组织使用这种模式来节约成本。然而在动态众包平台中,由于各种复杂的场景下会产生大量的复杂任务,工人仅靠自己的力量无法完成。工人们之间的协调难度增大;单个任务的效益无法正确分配;工人们参与积极性会随着薪酬的降低而下降;工人的利益始终无
变压器在电网中广泛使用,实时感知其运行状态是消除潜在故障的关键步骤之一。由于变压器制造工艺和运行环境的多样化,容易产生不同种类的故障,电力企业在进行变压器维护时一直耗费着大量的人力和物力。针对变压器的不确定性故障问题,论文提出了一种基于D-S证据理论的变压器故障诊断模型。首先,深入分析基于D-S证据理论的相关信息融合技术。其次,明确解决冲突证据、构建基本概率指派函数为主要任务。最后,利用改进的D-
当前人工智能作为热点持续被人们关注。《新一代人工智能发展规划》指出，应逐步开展全民智能教育项目，在中小学阶段设置人工智能相关课程、逐步推广编程教育、建设人工智能学科，培养复合型人才，形成我国人工智能人才高地。在这一背景下，教育如何应变？本文尝试以“生活中的人工智能——智能分类垃圾桶”一课为抓手，巧借项目式学习，关注学生计算思维的培养，探索人工智能模块的课堂教学实践。