论文部分内容阅读
随着多媒体技术的发展和移动设备的普及,人们开始通过手机等设备浏览图像和视频,面向移动设备的视觉媒体应用逐步成为新的消费时尚。与面向电视、电脑等传统展示设备的视觉媒体应用不同,在移动设备上浏览视觉媒体会遇到屏幕尺寸小且形状不规则、消费时间短等问题。如何在在展示空间受限或展示时间受限的情况下提供高质量的视觉媒体服务已成为近年来多媒体技术研究领域的热点问题,相应的技术我们称之为“视觉媒体紧致展示技术”。 视觉媒体紧致展示技术的核心是通过对原始媒体内容的自动改编,以期在空间或时间受限的条件下,向用户提供尽可能自然、完整、重要内容清晰的展示效果。根据应用需求不同,视觉媒体紧致展示处理包括空间域视觉媒体紧致展示处理和时间域视觉媒体紧致展示处理,分别对应了图像/视频显示适配技术和视频摘要技术。这两类技术,目前都有不少研究工作,但从应用的角度看,还缺乏一个能够综合各种用户感知效果的技术方案出现,特别是还缺乏有效的视觉媒体紧致展示处理的质量评估机制和自动评估方法,这在一定程度上,也影响了相关技术的进一步发展。 本文的研究关注视觉媒体紧致展示技术中的三项关键技术:图像/视频显示适配技术、视频摘要技术和视觉媒体紧致展示质量自动评估。本文工作从用户需求出发,对现有的视觉媒体紧致展示处理方法进行综合和改进,提高处理结果质量;并针对当前研究在视觉媒体紧致展示质量自动评估方面的缺陷,提出符合用户感知的评估框架。本文的创新性工作主要包括: (1)提出基于区域关系图的图像显示适配方法和基于曲边梯形网格的快速图像显示适配方法。前者针对现有图像显示适配方法在能量模板约束和源图像表示方面的不足,通过多能量模板约束、区域关系图表示、带约束的曲边梯形网格变形三项关键技术进行改进;后者针对移动平台计算能力较弱、低功耗要求的特点,实现在有限计算资源条件下的快速图像显示适配。 (2)提出基于组合操作和相机运动补偿的视频显示适配方法。该方法针对现有视频显示适配方法在时序一致性保持和时间域冗余利用方面的不足,通过在三维视频体上综合采用行/列去除、裁剪、均匀缩放三种操作来改进时序一致性保持的效果,并通过相机运动补偿来充分利用视频内容时间域冗余和控制相机运动。 (3)提出基于视听特征和序列配准的未剪辑视频摘要方法。该方法针对现有未剪辑视频摘要方法在场记板和重拍片段检测方面的缺陷,通过音频特征来检测包含场记板的子镜头,并通过序列配准方法来检测重拍片段,该方法的效果在TRECVID竞赛未剪辑视频摘要任务中进行了检验。 (4)提出面向用户感知的图像显示适配质量自动评估框架。该评估框架针对缺乏面向图像显示适配质量自动评估的研究现状,根据用户需求建立面向图像显示适配的质量评估标准,提出了各指标的自动计算方法,并对照人工判定的结果,对各评估指标的得分进行拟合处理。 (5)提出面向用户感知的视频显示适配质量自动评估框架。该评估框架针对缺乏面向视频显示适配质量自动评估的研究现状,根据用户需求建立面向视频显示适配的质量评估标准,提出了各指标的自动计算方法,并对照人工判定的结果,对各评估指标的得分进行拟合处理。 (6)提出基于4C标准和用户交互的视频摘要质量评估框架。该评估框架针对现有视频摘要质量自动评估方法在评估指标不完整和无法动态调整方面的缺陷,提供了基于4C标准的全面自动评估方法,并可根据用户交互将4C评估得分拟合生成用户所需标准下的评估结果。 本文的研究成果经过实验验证,对视觉媒体紧致展示中的关键技术做出了有效改进,并有望在面向移动设备的视觉媒体消费等实际应用中推广。