基于多模态特征融合的新闻视频摘要技术研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:zfbandfsy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多媒体和网络技术的发展使得视频资源变得越来越丰富,伴随而来的问题则是视频数据量的快速增长。因此如何对这些海量视频数据进行有效的处理,从而提高浏览和检索效率就成为了当前亟需解决的现实问题。视频摘要技术可以缩减视频的数据量,节省浏览时间,是解决这些问题的关键。新闻视频是人们获取信息的主要来源之一,与一般的视频数据相比,它有其特殊的结构和组织特征,这都使得针对新闻视频的摘要技术成为近年来广泛研究的热点。本论文针对这一课题进行了探索和研究,并做出了一些有特色的成果。(1)研究了新闻视频中的镜头分割,提出了一种基于白适应阈值的镜头边界检测算法。针对新闻视频中多为切变镜头及经常存在闪光灯的特点,首先通过两次检测及自适应闽值调整初步确定镜头边界,然后加入闪光灯判定条件并将检测出的闪关灯事件滤除,最终确定镜头边界。实验证明,本算法对闪光灯的适应性大大增加,显著提高了镜头检测的准确率(2)研究了主持人镜头检测,提出了一种基于音视频特征融合的主持人镜头提取方法。主持人模板是通过综合考虑静音片段的特征之后自动提取的。然后利用主持人镜头背景不变的特性,通过色矩计算和颜色模板匹配来进行主持人镜头的检测。该方法实现了主持人镜头的自动化聚焦,具有准确度高和适应性强等优点。(3)研究了关键帧提取技术,提出了一种基于镜头与标题字幕方法融合的关键帧提取方法。针对新闻节目的特点,选取两种帧作为关键帧:一是包含新闻主题字幕的帧,二是取每个镜头最接近时间中点的帧作为关键帧。实验结果表明,该方法提取的关键帧具有较好的代表性,能够较好的描述新闻内容。(4)研究了视频摘要的生成及表现形式。综合考虑新闻视频中的多种模态信息,提出了基于多模态特征融合的新闻视频摘要生成方法,视频摘要表现形式包括新闻故事板形式的静态摘要、基于比例压缩的视频缩略、基于主持人镜头的视频缩略和基于新闻标题条的视频缩略。最后,设计实现了一个多特征融合的新闻视频摘要原型系统,系统集成了本文研究的主要成果,实验结果表明,用户对摘要结果的满意度较高。
其他文献
随着我国通信行业的竞争日趋激烈,提高网络质量成为各大通信运营商尤为关注的问题,同时,用户关于信号质量的投诉量越来越多,而电信投诉在线处理部门缺乏相应的支撑数据和处理
“物联网”被称为继计算机和互联网之后世界信息产业的第三次革命。作为物联网技术的核心组件,RFID系统起着至关重要的作用。随着RFID技术的不断推广应用,RFID系统的信息安全
随着计算机和网络技术快速发展,计算机系统遭受的入侵和攻击也越来越多。现有的入侵检测系统虽然有较高的检测率,但是其缺少自适应性,自学习性,以及容错性等。而人工免疫系统
随着石油行业的发展,石油在运输过程中使用的重要载体一管道,越来越受到工程人员的重视。出于安全需要,对石油管道所进行的管道检测工作也就越来越被工程人员所重视。这也就
随着各个高校科研技术及成果的不断提高与创新,科研水平的高低已经成为了衡量一所高校综合实力的重要标志,现有的科研考核工作多数还在采用人工的管理办法,不仅效率低而且易
无线mesh网是一种在Internet与无线终端之间建立连接的重要技术。随着应用范围的日趋广泛,其用户也越来越多,同时用户对该类型网络的服务质量也有了越来越高的要求。为了解决保
在当今交通情况日趋复杂,管理难度越来越大的环境下,随着计算机技术和图像处理技术的快速发展,利用实时视频图像来对复杂的交通状况进行管理已经成为了智能交通系统(ITS)的重
近年来,随着多媒体视频数据的急剧增长,为了便于对海量的视频数据进行语义级别的检索与浏览,基于语义概念的视频检索技术已成为研究的新热点。而在基于语义概念的视频检索研
随着时代的发展以及人民生活水平的提升,传统的生活方式已经很难满足人们对高品质生活的追求。进入21世纪以来,特别是近年现代高科技和信息技术走向智能住宅小区和家庭,人们
无线Ad hoc网络是一种无固定设施的无线网络,是无线通信领域的研究热点之一。无线Ad hoc网络具有信道分配复杂、网络移动强及网络容量动态变化等特征,这就对网络QoS提出了很