论文部分内容阅读
信息时代以新闻视频为代表的多媒体情报将在未来战场中大量涌现并发挥重要作用,如何从大量的新闻视频数据中提取有价值的情报信息并进行有效的管理已成为当前信息工程领域的前沿研究课题。传统的数据挖掘技术虽然能够解决结构化或半结构化数据的知识发现问题,却难以有效应用于非结构化的多媒体数据。本文旨在研究新闻视频数据的挖掘技术,为解决上述问题探索出一条可行的技术途径。 本文首先建立一个新闻视频挖掘体系,进而重点研究该体系中新闻视频的结构挖掘、语义内容挖掘、新闻视频摘要等关键技术,并通过一个辅助情报分析的新闻视频挖掘系统的设计与实现,验证其在情报分析中的作用和效果。论文的主要贡献体现在以下几个方面: 1、提出了新闻视频挖掘的体系,包括概念体系和技术体系。在概念体系中提出了新闻视频挖掘的概念、任务和层次结构,将挖掘过程分为低层挖掘和高层挖掘两个阶段;在技术体系中提出了新闻视频挖掘技术的体系结构和关键技术;最后以情报分析为例说明新闻视频挖掘的应用。 2、提出了部分新闻视频低层结构挖掘的方法。为提取新闻视频的分层结构和叙事结构,提出了基于背景的镜头探测算法,基于聚类的播音员镜头探测方法AnchorClu,以及融合多特征的新闻故事单元探测方法SATS。 3、提出了部分新闻视频低层语义内容挖掘方法。基于对新闻视频语义内容的分析,指出标题字幕和人脸对理解新闻视频的语义内容具有重要意义,并提出了从新闻视频流中提取标题文本的方法,包括字幕事件探测、字幕区域探测以及字幕区域后处理等过程,进而提出了基于肤色与神经网络的人脸探测方法、多信息融合的人脸标注方法,为高层的新闻视频挖掘奠定了基础。 4、提出了新闻视频摘要的“实体-描述-效用”模型(简称EDU模型),设计实现了基于EDU模型的新闻视频摘要方法。通过将新闻视频摘要的生成过程抽象化,提出了具有可扩充性的EDU模型;通过对新闻视频的描述体系与方法的研究,提出了基于EDU模型的新闻故事摘要和新闻专题摘要方法,设计了两种新的可视化摘要形式,即时间趋势图和时空分布图。 5、针对战略决策模拟环境中的多媒体情报信息服务这一具体的任务背景,设计实现了辅助情报分析的新闻视频挖掘系统,对新闻视频挖掘的体系和技术进行了应用和验证。 综上所述,本文的研究提出了新闻视频挖掘的概念、体系和方法,并以情报分析为应用背景,实现了包括新闻视频挖掘从低到高全过程的验证系统。这些研究不仅对多媒体内容分析技术、多媒体数据挖掘技术将产生积极的影响,同时也为多媒体情报分析技术的研究建立了一定的理论和实践基础。