论文部分内容阅读
近年来,随着多媒体技术和网络技术的迅猛发展,视频数据的生成、处理和获取的便利性日益增加,更多的用户选择使用无线网络和手持终端访问各种多媒体内容。当前的媒体服务面临着网络形式的异构性、终端设备的多样性以及用户偏好的复杂性等使用环境的制约,使得统一的媒体访问技术成为迫切需要。基于内容自适应视频传输充分考虑原始视频的内容特性,根据语义特征和用户需求确定视频内容的重要性级别,选择主观质量优化的自适应策略处理被传输视频内容以适应网络环境和访问终端,使重要的视频内容获得较高的回放质量。基于内容的自适应视频传输已成为近年来统一媒体访问技术的研究热点,需要解决语义内容描述与分级、自适应传输决策模型、自适应操作方法及质量评估等关键问题。针对基于内容的自适应视频传输策略和优化算法等主要问题,以足球视频为研究对象进行了深入研究。针对视频自适应传输环境中用户偏好内容的主观质量优化问题,提出一种基于语义内容的视频自适应传输架构。在此架构下,定义了语义内容的时域和空域描述方法,根据用户偏好交互性地确定内容的重要性级别,将约束条件下不同级别语义内容的自适应传输决策定义为时-空域内的多目标效用优化模型,将自适应操作方法定义为时-空域内对不同粒度语义单元的选择或丢弃,使用客观质量和主观质量相结合的方法评价自适应操作效用。根据视频内容的时-空句法结构和自适应目标,建立了基于语义内容的自适应传输策略的时-空优化模型。足球视频内容在时-空域内分别可以描述为严格句法结构的语义单元,基于各语义单元的自适应策略根据约束条件选择或丢弃不同粒度语义单元以最大化主观效用,基于内容的视频自适应传输策略分别在时域和空域根据不同的应用环境构建为两种不同的优化模型。其中,时域上的自适应策略被构建为基于不同粒度语义单元的多约束背包优化模型,空域上的自适应策略被构建为基于语义对象的感兴趣区域优化模型。为了解决实时流点播服务中带宽约束自适应问题,设计并实现了一种基于语义内容自适应丢帧的实时自适应传输方法。该方法在时域上标注语义内容的重要性、镜头类别和帧类型等,基于事件、镜头和图像组等不同语义单元确定实时拥塞条件下的自适应丢帧比率,实现了根据不同粒度语义内容丢帧以解决低码率带宽可变网络环境中的视频传输质量优化问题。由于重要的语义内容传输了尽可能多的帧,主观质量评价结果表明本文的方法比传统的精彩事件自适应和运动强度丢帧方法取得了更高的用户平均满意度。为了自适应不同终端设备的异构显示性能,设计并实现了一种基于用户感兴趣对象的足球视频重定向方法。该方法在不同类型镜头中根据用户感兴趣对象的坐标确定优化的感兴趣区域,然后将裁剪下的感兴趣内容根据终端屏幕分辨率和宽高比缩放。实验结果表明本文的方法能够提高被传输内容的视觉质量和语义质量,且感兴趣对象击中率高于固定感兴趣窗裁剪法。基于内容的足球视频自适应传输系统还存在许多进一步的研究工作,基于用户偏好的语义内容分级方法还需在智能性学习方面进行改进,相应的自适应决策引擎和自适应引擎期待在更多的视频流传输技术中得到应用,实时的多维自适应策略和基于MPEG-21的端到端系统跨层设计也将成为今后的研究重点。