视频语义信息是指描述视频中的物体形状、物体之间空间关系以及物体的事件等内容的信息。从视频中提取语义信息并用其对视频流进行描述,可以大大提高视频压缩比,增强对视频内容的访问、检索和操作功能,已成为国际学术界研究的热点。本文着重研究视频语义信息提取的关键技术问题,具体包括三个方面的内容。 在语义视频对象平面的自动分割方面,重点研究了统计变化检测技术。首先提出了一种统计变化检测和时空滤波器相结合的分割算法,可以很好地处理对象的慢速运动,并能有效消除因对象运动而暴露的背景区域的影响。接着研究了基于背景图像的分割算法,提出了利用多个帧间变化检测结果进行累积判决构造背景图像的技术,该技术不受对象慢速运动的影响。最后,提出了利用多个连续帧差,在时域窗内进行统计分析以分割头肩视频序列的算法,算法的分割结果较为准确,计算复杂度低。 研究了语义视频对象的分级跟踪技术。为了满足不同应用对视频对象跟踪处理在速度和准确性方面的不同需求,设计了一种分级跟踪处理框架,由高级图像分析、低级图像分析两个层次构成。在高级图像分析中,根据视频对象的总体特征(定界框、面积、中心坐标等),实现对象运动轨迹的跟踪。在低级图像分析中,利用颜色、边缘、纹理等特征,采用模糊C-均值聚类算法进行区域分割,利用区域特征描述符的映射作为下一帧分割的预测,得到具有精确边界和准确帧间对应关系的区域。通过高级图像分析和低级图像分析的交互,利用对象所包含的区域的边界和帧间对应关系,进一步提高语义视频对象的时域一致性和空域准确性。 研究了视频语义信息的层次化描述和提取技术。提出了一种视频语义信息层次化表示模型,模型在镜头、视频对象、视频对象平面、视频对象区域等几个层次上层组织不同细节级别的视频语义信息,将视频的低级视觉信息与高级语义信息结合起来。设计了一种视频语义信息的结构化描述方案,用对象层次来描述不同层次的对象之间的关系,通过实体关系图来描述同一层次不同对象之间的关系,实现了对视频语义信息的多级概括。利用以上模型设计了一种视频数据库查询系统,用户可以根据不同的层次特征,对视频数据库进行有效地浏览和检索。