基于自注意力网络的动态视频摘要方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lj55769145
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,伴随着多媒体技术、视频记录设备的飞速发展与互联网的普及,视频成为了人们获取信息、分享生活的重要媒介之一,视频数据也呈现爆炸式增长。如何结构化存储并理解视频内容成为当前视频领域的热点。视频摘要技术通过删除冗余保留视频中的重要内容,并生成紧凑的视频片段或几组关键帧,提供了一种快速浏览视频主要内容的方式。它可以减少人们搜索视频时巨大的时间花销,节省视频存储空间。在视频摘要生成步骤中,一项重要任务是对帧级重要性分数的评估,本文针对动态视频摘要问题,对该问题开展研究,主要研究内容包括以下三部分。(1)在视频摘要领域引入自注意力机制,并实现了基于多头自注意力网络MASN(Multi-Head Attention Summarization Network)的视频摘要算法,解决了编解码器模式中无法处理长视频以及基于循环神经网络(Recurrent neural network,RNN)无法实现并行计算的问题,降低了模型的计算复杂度。该算法以单前馈和单后馈的方式执行整个序列到序列的变换,通过所有输入特征的加权平均值计算每个时刻的帧得分,为不同状态自适应地赋予不同的权重,简单高效地生成高质量的摘要。(2)进一步优化多头自注意力网络的视频摘要算法,尝试将卷积神经网络和自注意力机制结合起来,以减少多头自注意力在计算局部依赖时存在的严重冗余,鼓励模型通过自注意力网络学习长距离依赖,通过卷积网络学习局部依赖,在第一部分的基础上进一步提出了一个基于长短搭配的自注意力摘要网络LSASN(Long-short Attention Summarization Network),更好地学习局部范围内对视频摘要贡献更高的帧,同时还提升了模型性能。(3)由于有监督的视频摘要需要大规模的人工标注,费时且费力,因此,本文基于前两部分的研究成果,引入深度强化学习,将视频摘要视为一个连续决策过程,并提出了两种奖励函数,以评估选择的摘要的丰富性和代表性,实现了一个基于自注意力和深度强化学习的、无需人类标注的摘要网络。该网络包括长短搭配的自注意力网络和一个基本的强化学习框架,两者共同协作,指导摘要的生成,将本文的方法拓展至了无监督学习。实验结果证明了该方法的有效性。
其他文献
由脂肪醇聚氧乙烯醚和丙烯酸合成了非离子聚合物增稠剂(EOAP),表征了EOAP的结构,并测试了其表面性能和应用性能,最后研究了EOAP对标准洗衣液和十二烷基苯磺酸钠(LAS)的增稠效果。结果表明,EOAP具有较高的表面活性,CMC为39.7 mg/L,γCMC为34.6 mN/m;与非离子表面活性剂AEO9相比,EOAP的应用性能没有明显减弱;在保证主表面活性剂的优良性能的前提下,在标准洗衣液和L
期刊
自税收产生以来,就伴随着税收不遵从的现象。很多学者都比较看重税收遵从,投入了很多的精力去进行研究,提出了传统税收遵从模型,其中最具有代表性的就是A-S模型,根据这个模型的结论,税收遵从会对稽查率、处罚力度这两个指标产生正向的影响,但是也不是所有的情况都适用这个结论,比如在一些国家,税务机关的稽查能力比较弱、对纳税不遵从的处罚比较轻,但是却表现出了比较高的税收遵从度。因此引发了人们对纳税遵从的内在动
学位
移动互联网的快速发展生成了大量的数据信息,这些数据相互关联形成了复杂系统。复杂系统通常被抽象成复杂网络来进行研究,将系统中的成员看作网络中的节点,相同属性的节点聚集在一起形成了社区结构。探究社区结构的社区发现算法,可以帮助我们更好的理解网络属性和功能。在真实网络中,一个节点可能同时属于多个社区,这些社区称为重叠社区。本文主要对局部拓展类的重叠社区发现方法展开研究,并将算法应用于犯罪嫌疑人网络。本文
学位
作为现代金融学的基础,有效市场假说自提出以来便陆续受到国内外学者的质疑。大量的研究发现,证券市场存在一系列异象,这些金融市场异象包括日历效应、规模效应、动量效应和反转效应等,其中动量效应倍受国内外学者的关注。动量效应通常也被称为惯性效应,具体指的是过去一段时间具有较高收益的股票在未来仍然会延续原来的良好趋势;相反,在同一时间区间内收益较差的股票在接下来的一段时间内也会延续其原有趋势,即股票投资收益
学位
自马科维茨建立现代投资组合理论以来,现代金融学迈入了全新的领域,基于理性人假设的各类金融理论不断浮现。由尤金法马提出的有效市场假说,在现代金融理论体系中更是扮演着支柱角色。但随着行为金融学的兴起以及市场异象不断被发现,有效市场假说本身正受到挑战。动量效应与反转效应是有效市场假说所难以解释的代表性市场异象,动量策略同时也是机构投资者惯常采用的选股策略之一。国内外已有许多学者对世界各国股票市场中动量效
学位
随着我国债券市场的不断发展,公司债券成为重要的融资工具。相较于银行贷款,直接融资面向对象更为广泛,筹资成本更低。近两年,我国债券市场迅速发展,成为仅次于美国和日本的世界第三大债券市场。但是相较于传统银行贷款市场,债券投资人与发行人之间存在更加严重的信息不对称问题。同时由于债券投资人众多,单个投资人对发行人的监管动力和能力也相对不足,近两年频频出现的债券违约现象也能说明这一点。而银行在向公司提供贷款
学位
随着人工智能相关理论的完善,人工智能在近年来发展迅猛。除了理论成果以外,人工智能的应用也在多个领域取得成就。我国的十四五发展规划指出要瞄准人工智能、量子信息、集成电路、生命健康、脑科学等前沿领域,实施一批具有前瞻性、战略性的国家重大科技项目。在这些前沿科技领域中,人工智能被列为了第一位。它的重要性不言而喻。发展人工智能是科技强国的必经之路。目前,深度学习是人工智能中最重要的算法之一。在深度学习的多
学位
即使是在这个医疗和社会保障体系相当完善的现代社会中,人们的生命健康安全依旧被很多复杂疾病所威胁着,比如流行性传染病和癌症等。而往往这些复杂疾病在初期都表现得相对温和,但是会发生传染病大爆发或者病情突然恶化的现象。从系统生物学的观点看,这些现象就是复杂疾病系统随着时间演变的过程中出现了临界点。显然,探测各类复杂疾病的临界点对疾病防治工作具有重要意义。本文从系统生物学和信息生物学的观点出发,以动态网络
学位
三十余年来,资中血橙产业发展蓬勃,一跃成为中国最大的血橙生产基地。资中血橙产业发展优势显著,但目前还存在产业链条较短、营销体系薄弱等问题,为加快推进资中血橙产业转型升级,本文对资中血橙产业发展优势和存在的主要问题进行了分析,提出了发展建议。
期刊
2013年,经合组织针对“税基侵蚀和利润转移”问题发布提案,《实施税收协定相关措施以防止税基侵蚀和利润转移的多边公约》(以下简称多边公约)将“防止双重不征税”加入到双边税收协定序言当中,随后,2015年,OECD发布了第6项行动计划的最终报告(以下简称最终报告)~1,提出了三管齐下的措施,包括反对双重不征税宗旨、特别反滥用规则和一般反滥用规则,此外,OECD税收协定范本注释对受益所有人概念进行了详
学位