视觉媒体紧致展示关键技术研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:awubang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术的发展和移动设备的普及,人们开始通过手机等设备浏览图像和视频,面向移动设备的视觉媒体应用逐步成为新的消费时尚。与面向电视、电脑等传统展示设备的视觉媒体应用不同,在移动设备上浏览视觉媒体会遇到屏幕尺寸小且形状不规则、消费时间短等问题。如何在在展示空间受限或展示时间受限的情况下提供高质量的视觉媒体服务已成为近年来多媒体技术研究领域的热点问题,相应的技术我们称之为“视觉媒体紧致展示技术”。  视觉媒体紧致展示技术的核心是通过对原始媒体内容的自动改编,以期在空间或时间受限的条件下,向用户提供尽可能自然、完整、重要内容清晰的展示效果。根据应用需求不同,视觉媒体紧致展示处理包括空间域视觉媒体紧致展示处理和时间域视觉媒体紧致展示处理,分别对应了图像/视频显示适配技术和视频摘要技术。这两类技术,目前都有不少研究工作,但从应用的角度看,还缺乏一个能够综合各种用户感知效果的技术方案出现,特别是还缺乏有效的视觉媒体紧致展示处理的质量评估机制和自动评估方法,这在一定程度上,也影响了相关技术的进一步发展。  本文的研究关注视觉媒体紧致展示技术中的三项关键技术:图像/视频显示适配技术、视频摘要技术和视觉媒体紧致展示质量自动评估。本文工作从用户需求出发,对现有的视觉媒体紧致展示处理方法进行综合和改进,提高处理结果质量;并针对当前研究在视觉媒体紧致展示质量自动评估方面的缺陷,提出符合用户感知的评估框架。本文的创新性工作主要包括:  (1)提出基于区域关系图的图像显示适配方法和基于曲边梯形网格的快速图像显示适配方法。前者针对现有图像显示适配方法在能量模板约束和源图像表示方面的不足,通过多能量模板约束、区域关系图表示、带约束的曲边梯形网格变形三项关键技术进行改进;后者针对移动平台计算能力较弱、低功耗要求的特点,实现在有限计算资源条件下的快速图像显示适配。  (2)提出基于组合操作和相机运动补偿的视频显示适配方法。该方法针对现有视频显示适配方法在时序一致性保持和时间域冗余利用方面的不足,通过在三维视频体上综合采用行/列去除、裁剪、均匀缩放三种操作来改进时序一致性保持的效果,并通过相机运动补偿来充分利用视频内容时间域冗余和控制相机运动。  (3)提出基于视听特征和序列配准的未剪辑视频摘要方法。该方法针对现有未剪辑视频摘要方法在场记板和重拍片段检测方面的缺陷,通过音频特征来检测包含场记板的子镜头,并通过序列配准方法来检测重拍片段,该方法的效果在TRECVID竞赛未剪辑视频摘要任务中进行了检验。  (4)提出面向用户感知的图像显示适配质量自动评估框架。该评估框架针对缺乏面向图像显示适配质量自动评估的研究现状,根据用户需求建立面向图像显示适配的质量评估标准,提出了各指标的自动计算方法,并对照人工判定的结果,对各评估指标的得分进行拟合处理。  (5)提出面向用户感知的视频显示适配质量自动评估框架。该评估框架针对缺乏面向视频显示适配质量自动评估的研究现状,根据用户需求建立面向视频显示适配的质量评估标准,提出了各指标的自动计算方法,并对照人工判定的结果,对各评估指标的得分进行拟合处理。  (6)提出基于4C标准和用户交互的视频摘要质量评估框架。该评估框架针对现有视频摘要质量自动评估方法在评估指标不完整和无法动态调整方面的缺陷,提供了基于4C标准的全面自动评估方法,并可根据用户交互将4C评估得分拟合生成用户所需标准下的评估结果。  本文的研究成果经过实验验证,对视觉媒体紧致展示中的关键技术做出了有效改进,并有望在面向移动设备的视觉媒体消费等实际应用中推广。
其他文献
随着互联网应用的快速发展,网络的结构日益复杂,网络已经渗透到社会生活的各个方面。正是在这种背景下,IP语音技术伴随着互联网商业化革命以及网络融合技术发展起来。VoIP技术最
汽车牌照自动识别技术应用于智能交通系统中,是我国交通事业的必然发展趋势,对我国经济的快速发展起着十分重要的作用。车牌自动识别系统主要分为图像预处理、车牌定位、字符
随着各种智能卡的技术不断发展、成熟,应用领域不断增加,人们随身携带的智能卡越来越多,如果将多个应用能集中到一张卡上,即“多应用智能卡”,将给人们提供更多的便利,有着广阔的发
机器学习是研究计算机系统如何根据以往经验来改善自身性能的学科,是目前计算机科学中最活跃的学科分支之一。很多机器学习方法的性能都与距离度量密切相关,因此近年来距离度量
随着时代的发展,互联网上的信息正在以指数级的速度增长。人们在享受互联网发展带来的各种方便的同时,也出现了如何在如此海量的内容中准确、快速的定位到自己所需要、有价值的
近年以来,以物联网技术为依托的智能家居服务受到了越来越多的广泛应用。不仅可以提供信息交流的途径,还可以培养人们良好的生活习惯,有效的节约时间与资源。在智能家居中,用户是
随着信息技术的飞速发展,一方面,人们的生活与计算机信息技术越来越息息相关,大量的数据信息被存储于计算机中,并通过网络进行着传输。另一方面,网络的安全也备受人们的关注,如何提
近年来,并行计算技术获得了充分的发展,各种新的软硬件层出不穷。图形处理器(GPU)作为一种高度并行化的处理器架构,已得到越来越多的重视,目前已诞生了以NVIDIA CUDA(Compute Uni
随着Internet的广泛普及,对等网络很快成为研究和应用的一个热点,其P2P覆盖网的构建得到了极大关注和重视。结构化P2P覆盖网中,资源的分布具有一定的映射规律,但在利用分布式
学位
在互联网高速发展的今天,网络应用早已不局限于传统的网页浏览,电子邮件等,文件共享的地位越来越重要,而传统的C/S模式无法满足用户对于速率的需求,因此P2P逐步成为最重要的文件共