影视视频结构解析及自动编目技术研究

来源 :北京邮电大学 | 被引量 : 6次 | 上传用户:daTyrant
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
广播电视及网络影视资源早已成为人们日常文化生活的一个重要组成部分。目前,影视视频内容的丰富性和多样性及特征数据特有的时空高维结构等,使得人们开始思考如何有效地组织和管理这些海量视频,并且尽可能快地定位到自己感兴趣的内容。然而,大部分的多媒体内容都需要人工地进行结构和语义分割及编目,以便能够更加有效地索引、分类存储或检索这些内容。随着影视视频资源数量井喷式地增长,这种需要投入大量人力物力资源来完成的视频结构、语义分割及编目方式越来越不能满足影视剧节目制作和使用的需求。如果能够实现影视视频结构的自动解析、理解及编目,这无疑将节约大量的资源,并提高电视节目的生产效率。本文针对这一问题,从分析视频的结构和内容出发,对视频结构解析及自动编目技术进行研究。其中视频结构解析主要是针对视频数据规模大的特点,对视频数据结构进行分析,将其分解成若干独立的逻辑单元。同时通过视频内容分析获取可用于视频自动编目的基本语义信息,实现影视视频自动结构解析和编目。具体而言,本论文主要从镜头边界检测、场景检测、场景识别、影视演员识别等方面对影视视频结构解析及编目进行研究并提出解决方法。具体的研究问题包括:如何在复杂多变的视频中合理高效地进行视频结构的解析;如何准确并有效地提取包括场景类别、影视演员人名等在内的用于自动编目的基本语义信息。本论文的主要贡献如下:(1)针对如何准确而高效地实现镜头边界检测的问题,提出了一种焦点区域互信息计算和跳帧检测结合的快速镜头边界检测方法,同时从时间和空间上加速检测并且保证了准确率。我们的方法合理有效地描述了视频帧间差,减少了冗余信息的处理,实现了快速准确的镜头边界检测。具体而言,利用焦点区域互信息在空间上减少了计算的帧内像素点数,利用自适应跳帧检测在时间上减少了处理的图像帧数量,并且通过分析图像帧的角点分布去除误检测。实验结果表明该方法能够有效地降低镜头边界检测所耗费的时间,同时保证准确率并检测到更多的渐变边界。(2)针对影视视频场景检测及识别的问题,我们首先提出了一种基于核典型相关分析和特征融合的影视场景检测算法。针对影视剧中场景较复杂且难以定位的问题,综合考虑音频和视频信息,利用核典型相关分析算法进行特征融合来获取鲁棒性更强的新特征,进而使用图分割的方式准确地检测场景边界。其次,对场景检测获取的场景片段,通过去除噪声区域、获取全景关键帧等获取典型局部特征块,并使用潜在狄利克雷分析主题模型进行场景类别建模和分类,将影视场景片段归类到特定的五类场景类别中。(3)针对影视剧中演员人物自动识别和人名标注问题,提出了有效的解决方法:使用演员列表信息和网络搜索结合的方式构造演员人脸训练集;通过人脸检测和视频跟踪获取人脸跟踪集后,利用基于核的多任务联合稀疏表示分类(Kernel Multi-task Joint Sparse Representation and Classification, KMTJSRC)算法对每个人脸跟踪集进行识别;最后,利用条件随机场模型对人脸跟踪集序列进行更准确和有效的序列标注。(4)基于视频结构和基本语义内容的自动编目原型系统的设计与实现。为了验证本文算法有效性,我们设计并实现了影视视频自动编目原型系统。我们基于论文中所提出的视频结构解析和若干特定基本语义提取算法,构建了更加高效和合理的自动编目原型系统,并且在实际应用中得到了应用和验证。通过大量实验表明,本文提出的方法能够准确而高效地对视频内容进行结构解析,还能够获取场景类别、演员人名等基本语义内容作为自动编目的条目内容,最终大幅地减少人工工作量,提高传媒行业企业视频编目的效率。
其他文献
传统雨水基础设施规划建设具有忽略雨水"资源化"的特点,本文针对校园雨水径流量过大与雨水资源浪费问题,结合校园景观文化,建立以渗透减排、存蓄利用、峰值调控、污染控制四
对外汉语教学中的汉字教材研究在外来语言教学法“词本位”和我国传统语言学轻视“字”研究的影响下 ,一直处于辅助性的“小学”地位。本文借助语言学的“汉字构形学理论”、
近年来,随着我国经济社会的高速发展,环境危机等诱发的自然灾害频发,各种社会矛盾日益凸显,突发事件种类日益增多,成因不断复杂化、交错化,公共安全形势错综复杂,呈现出不断向纵深发
在情感论坛点开一个帖子,发帖的女子苦恼得要命,“他对我一时蜜语甜言一时沉默寡言,一时追着喊着要娶我一时又认定更出色的男人才配得上我,他到底想怎样,是只想从中取乐还是重情情怯?”  有看客留言,“你有没有问过自己到底想怎样?你是爱上了他的假不正经还是假正经?”  苏青说过,“女人是神秘的!神秘在什么地方,一半在假正经,一半在假不正经。譬如说:女人都欢喜坏的男人,但表面上却佯嗔他太不老实,那时候若男子
老人82岁了,上一个节目,是关于他的演艺生涯的。  老人说,60多年前,他遇上了一个非常喜欢的姑娘。他给她写了一封信,很快得到了回信。但信中十分委婉地拒绝了他的爱情。  他又写了第二、第三封信,最终都泥牛入海。杳元音信。  他们在岁月中擦肩而过。  20多年后,老人成为著名的话剧演员,在城里可谓家喻户晓。他四处打听她的下落,并给她寄去两张话剧票,但是他不敢署名。  到了演出那天,他特别留意那两个座
1.印刷机排风系统对干燥的影响排风系统如果不通畅,则挥发出来的溶剂得不到及时排除。烘箱内的溶剂浓度过高将会阻碍溶剂的进一步挥发,从而影响印品干燥的效果。
绝对渗透率是描述岩石中流体渗流能力的参数,同时也是影响煤层气产量的一个重要参数。而煤层气有别于常规天然气,其主要以吸附方式赋存于煤储层中,煤储层基质渗透率极低,流体
中国俄罗斯侨民文学是世界优秀的文学遗产之一,也是全世界文学宝库中的一颗璀璨明珠。哈尔滨俄侨诗歌产生于本世纪二十年代,它的产生和发展并不是偶然的,随着中东铁路的建设以及
针对现有水力振荡器的阀盘接触压力高、零件冲蚀及磨损严重、自身压耗偏大,且螺杆马达工作寿命短的问题,研制了一种采用涡轮马达作为动力系统的水力振荡器。该水力振荡器通过
我国基础教育总体水平不高,原有基础教育课程改革已不能完全适应时代发展的需要。新课程改革是实现素质教育,全方位推进教育改革的核心问题和关键环节。如何落实新课程改革的理