论文部分内容阅读
新闻报道是信息的重要载体,用户对新闻报道关注的重点是部分特定新闻事件,因此迫切需要能够自动实现基于新闻事件的新闻报道跟踪。目前主要在文本领域开展了新闻报道话题探测与跟踪研究,与文本媒体类型相比,新闻视频面临结构复杂,媒体模态多样等一系列问题,要在不同来源新闻视频中实现新闻事件各个报道内容的跟踪面临很多困难。根据新闻视频结构特点,可以把视频划分为帧、镜头、故事单元、视频四个层次。与新闻事件密切相关的层次是故事单元,因此在新闻视频数据库中研究识别和跟踪报道相同新闻事件故事单元的相关技术成为当前新闻视频研究领域的前沿课题。本文对这个具有重要理论意义和广阔应用前景的课题进行了探索和研究,旨在解决新闻视频故事单元跟踪研究中的部分关键技术,为新闻视频数据库基于新闻事件的信息分析和利用提供可行的解决途径。本文首先建立一个新闻视频故事单元跟踪研究的框架,在此基础上重点研究了故事单元分割、故事单元关联分析、故事单元线程化跟踪等关键技术,通过实验验证了研究的可行性和算法效率。论文的主要贡献体现在以下几个方面:1、提出了新闻视频故事单元跟踪研究的技术框架。首先对研究中涉及的概念和关键术语进行了阐述,然后研究了新闻视频文件和故事单元描述模型,提出了新闻视频数据库的“故事单元空间”表示方式,为开展故事单元跟踪研究提供了理论基础。在此基础上提出了新闻视频故事单元跟踪研究的技术框架,探讨了研究实现的技术途径和部分关键技术,明确了研究的主要任务。2、提出和改进了新闻视频故事单元分割方法。通过对新闻视频故事单元编辑模式的分析,提出了一种有效的视频、音频特征候选分割点选择策略,其中突出研究了自适应的播音员镜头探测方法;同时,研究了不同的集合运算方法来融合分析不同类型的视频特征候选分割点与音频特征候选分割点,对不同来源的新闻视频都可以有效实现故事单元分割。3、提出了新闻视频故事单元关联分析方法。分析了相似关键帧与故事单元关联分析的内在联系及各种领域知识;研究了关联分析子数据库构建策略和局部关键点精减策略,在本质上提高了关键帧匹配分析速度;提出了一种利用局部关键点匹配技术的层次化过滤方法快速有效的识别相似关键帧;提出了基于相似关键帧和关联关系传递性的故事单元关联分析技术。4、提出了新闻视频故事单元“多线程”跟踪方法。为体现新闻事件报道的“多线程”属性,首先提出了一种融合各个语义层次、各种模态信息的故事单元相似度计算方法,方法结合新闻视频和故事单元的描述模型,重点研究了底层视觉特征中的局部特征相似度计算方法、中层语义概念中基于关键帧场景信息的相似度计算方法、高层语义的文本相似度计算方法以及相似度融合方法;在此基础上,研究了图论知识对于故事单元跟踪研究的有效性,提出了利用有向图理论对故事单元之间的相似关系进行“多线程”跟踪的方法。5、设计和实现了一个新闻视频故事单元跟踪系统。详细描述了NStoryThread系统的设计思路和各功能模块,并介绍了原型系统的实现,为研究的应用提供了基础。综上所述,本文的主要研究集中在新闻视频故事单元跟踪系统方法的关键技术上,如:新闻视频故事单元分割、故事单元关联分析和故事单元跟踪等,并对各关键技术进行了实验验证。这些研究不仅对新闻视频的分析和挖掘技术具有积极的影响,同时也对多媒体情报分析技术具有显著的理论和实践意义。