论文部分内容阅读
随着多媒体和网络的飞速发展,数字视频的数量急剧增加。怎样通过计算机对这些大量的视频进行自动理解,提取出其语义信息,从而方便用户进行高效率的查询和检索,是当前急需解决的问题。目前,视频语义提取技术正在受到广泛关注,已成为研究的热点。标签是表达语义的一种有效方式,根据视频数据的特点,可以采用名词语义标签和动词语义标签相结合的方式来表达其语义信息,其中名词语义标签对应的是视频中的运动对象,动词语义标签对应的是运动对象的具体动作行为,两者结合起来即为视频的语义标签。在提取视频语义标签时,采用机器学习的方法,先构造出视频训练集,然后分别从名词语义标签和动词语义标签两个方面对测试视频进行分析。名词语义标签方面,首先对测试视频进行镜头分割和关键帧提取等操作,得到视频的关键帧,然后对关键帧进行对象识别,即可得到名词语义标签。动词语义标签方面,首先通过运动对象检测和跟踪的相关算法得到测试视频的运动轨迹数据,然后考察测试视频的轨迹数据与训练集视频的轨迹数据之间的语义相似度,同时联系测试视频的名词语义标签以及训练集视频的标注内容,综合分析后即可得到动词语义标签。最后,仿照汉语中的主谓结构,用名词语义标签表示主语,用动词语义标签表示谓语,即可表示出视频的语义信息。