面向视频片段语义检索的多层推理模型研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kmyzkmyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频理解是计算机视觉中一项基础且重要的领域,近年来其由于如视频摘要分析等多种应用场景的需求而受到越来越多的关注。其中,视频检索任务因为拥有丰富的语义知识和复杂的背景干扰而仍存在大量难点,无法实现较大的突破。为了深入研究这个问题,基于文本语义的视频片段检索(Temporal Sentence Grounding in Videos,TSGV)被提出,在该任务中,模型要根据一段句子的语义信息从一个视频中检索出与之对应的视频片段。目前,大多数方法都是采用单步的跨模态注意力机制来实现视频和文本特征的语义对齐,但这类单步弱注意监督不足以捕捉复杂的视频文本内容从而无法达到高阶的跨模态语义关系推理。与此同时,这些方法缺少对视频和文本两种模态内部自相关性的学习,无法更好地辅助跨模态信息的交互。本篇论文主要研究了TSGV任务目前存在的难点问题,针对单步注意力机制的弱监督性问题和自模态内部有效特征的学习问题,提出了一种全新的带矫正-调制机制的多层推理网络(Multi-Step Rectification-Modulation Network,MRMN)。首先,考虑到文本和视频中复杂的时间关联性往往需要多步匹配推理才能得到,本文提出了一种多层推理框架来逐步检索出两种模态间最为匹配的语义信息,其主要思想在于通过多次注意力效果的叠加操作来实现更精确的视频文本语义信息对齐。其中,考虑到任意一层注意力错误都会影响到后续层注意力的判断问题,本文基于门控制方法在多层推理框架上设计了一种注意力矫正模块(Rectification Module)来实现注意力机制的实时纠错功能。此外,学习每个模态内部的元素关联性也很重要。关联从属于相同动作语义的元素和区分从属于不同动作语义的元素将会大幅度提高视频片段检索的精准度。因此本文在多层推理过程中考虑跨模态交互的同时,也分别考虑了视频和文本模态自身元素相关性的学习,通过融合自模态交互和跨模态交互达到细粒度更高的语义匹配。其中,考虑到相同的输入视频可能包含不同待检索的文本片段,为了针对不同的文本信息提取视频帧之间的不同相关性,本文额外设计了一种调制模块(Modulation Module)来实现自模态相关性的学习约束。最后,本文基于双仿射机制(Biaffine Mechanism)设计了一种全新的片段检索模块,并分别在三个具有挑战性的数据集(ANet-Captions、Charades-STA和TACo S)上对所提出的模型MRMN进行训练和测试,以验证网络的性能效果。实验结果证明,MRMN方法在三个数据集上都优于其它的现有模型。消融实验和可视化实验也分别验证了MRMN方法中的每个模块的有效性以及可解释性。
其他文献
目的:研究虎红平板凝集试验(RBPT)、标准试管凝集试验(SAT)、酶联免疫吸附(ELISA)方法在布鲁氏菌病中检测的特性及诊断效能。方法:选取兴安盟人民医院2020年3月-2021年5月接诊的且有完整记录的489例疑似布鲁氏菌病患者。以接触史+临床症状+血清学检测/布鲁氏菌分离培养为诊断金标准,分析SAT、RBPT和ELISA对布鲁氏菌病的诊断价值。结果:489例疑似患者确诊阳性183例(37.
党的十九大报告指出,农业农村农民问题是关系国计民生的根本性问题,必须始终把解决好“三农”问题作为全党工作的重中之重,实施乡村振兴战略。乡村是具有自然、社会、经济特征的地域综合体,兼具生产、生活、生态、文化等多重功能,与城镇互促互进、共生共存。乡村兴则国家兴,乡村衰则国家衰。全面建成小康社会和全面建设社会主义现代化强国,最艰巨最繁重的任务在农村,最广泛最深厚的基础在农村,最大的潜力和后劲也在农村。而
在写作教学中,教师要掌握文章的主体和基本形式。写作是培养学生逻辑思考和语言表达的有效途径。在课堂上,老师要对学生进行指导,要充分认识学生的写作过程,给他们创造一个学习的舞台和机会。
浓香型白酒是深受消费者喜爱的白酒类型,其品质与窖泥密切相关。窖泥中的微生物对浓香型白酒风味物质的形成具有重要影响。其中梭菌纲微生物能够合成丁酸、己酸等关键风味物质,是窖泥中的重要功能菌群。在白酒酿造过程中梭菌会随着窖内发酵条件的变化迁移到酒醅中并参与窖内发酵。但窖泥中的梭菌为何会迁移以及其迁移又受哪些因素的影响尚不清晰。因此,本研究在解析不同时空窖泥的微生物群落结构、理化因子及挥发性风味物质的差异
滑脉和涩脉均为临床上的常见脉象,一般认为两者很难并存。临床实践中发现两者在病理状态下可以同时出现,尤其在湿热致病的后期这种现象更加突出。本文从脉学的基础理论及临床实践角度对滑涩脉的形态、临床意义进行了探讨,正确理解和把握滑涩脉,对判断疾病性质、阶段、严重程度及制定治疗原则具有重要的临床现实意义。
为探讨布鲁氏菌病采用先初筛、后确诊不同方法及试剂组合检测结果的差异性,对实验室保存的133份牛、羊血清,以英国布病参考实验室RBT、SAT、APHA-cELISA方法为标准确定布病阳性血清73份、阴性血清60份。选择4种初筛方法共6种试剂、2种确诊方法共3种试剂,按照先初筛,对结果阳性样品再确诊的检测程序对确定的133份血清样品分别用6种方法(9种试剂)进行检测,结果表明:用18种组合方法检测牛阳
<正>在经济全球化日益深化的当下,在世界金融市场日益动荡的今天,中国金融业在参与世界市场竞争中得到了快速发展,同时也对全球经济金融体系和全球治理格局产生了深远影响。那么,我国金融业在对外开放中取得了哪些耀眼成就?未来应如何把握契机,向更高水平的对外开放大步迈进?对此,《中国金融家》记者专访了中国银行首席研究员、跨境金融50人论坛学术委员会秘书长宗良,共话金融开放十载精彩。
期刊
<正>《中国中医药报》2022年8月5日讯:日前,广东省药品监督管理局为规范中药材产地趁鲜切制加工,解决中药材加工过程中因“二次浸润”、切制造成成分流失和损耗增大等行业难题,制定并印发《广东省中药材产地趁鲜切制工作指导意见(试行)》,并建立《广东省中药材产地趁鲜切制风险管控品种目录》,将包含青蒿在内的76种中药材列入其中。
期刊
本文回顾了中国债市开放的主要政策和发展历程,总结了债市开放的现状、不足及面临的挑战,并对下一阶段债市开放和人民币国际化进行展望、提出建议。
布鲁氏菌病是一种由布鲁氏菌引起的全球常见细菌性人兽共患病。在开展布鲁氏菌病诊断、监测、防控等相关工作时,虎红平板凝集试验(rose bengal test,RBT)是最常用的布鲁氏菌抗体检测方法。但是,在实际应用过程中,因对布鲁氏菌抗体特点及RBT特性等缺乏充分理解,导致RBT检测结果被“误用”的情况时有发生。本文将从动物感染布鲁氏菌后产生抗体的种类和特点,抗体凝集反应中存在的“前带现象”和非特异