论文部分内容阅读
摘 要：第三代移动通信技术（3rd-generation，3G）的成熟和推广带来移动应用的巨大需求，其中，移动视频的发布与订阅受到越来越多的关注。本文在3G技术背景下，提出一种面向移动智能终端的通用视频订阅平台（UniversalMobileVideoSubscriptionPlatform，UMVSP），研究和设计以Red5流媒体服务器为核心的系统架构。提出UMVSP的参考模型和参考构架设计，实现以智能手机终端为视频采集客户端与流媒体服务器的通信流程，并提出一种视频关键帧的生成算法。本文的研究内容对移动视频应用有一定的技术指导作用。
关键词：移动应用；流媒体服务器；视频关键帧；软件构架
中图分类号：TP3 文献标识码：A 文章编号：1006-4117（2012）01-0318-03
随着手机智能系统的发展和3G时代的到来，智能手机正在慢慢普及，而以手机智能系统为依托的各种移动应用也融入了生活的各个角落，带来了全新的应用体验，也蕴含着无限商机。
Red5是一款基于Java的开源流媒体服务器。它由Java语言编写，使用RTMP作为流媒体传输协议，具有流化FLV、MP3文件，实时录制客户端流为FLV文件，共享对象，实时视频播放、Remoting等功能。
本文以3G时代智能手机应用为出发点，以Red5框架为技术支撑，研究和设计针对移动视频的通用移动视频订阅平台原型系统（Universal Mobile Video Subscription Platform，以下简称为UMVSP），将该平台分为手机客户端、流媒体服务器、WEB应用客户端等部分，研究手机客户端与流媒体服务器的通信流程，并设计视频关键帧的生成策略。参照土豆网的成功经验，本文研究的面向3G智能手机的通用移动视频订阅平台有一定的市场价值。
一、问题的提出
流媒体技术是一种常用的能使音频、视频和其他多媒体元素在Internet及无线网络上以实时的、无需下载等待的方式进行播放的技术。
土豆网是中国最早和最大的视频分享平台，用户可以通过其平台轻松发布、浏览和分享视频作品，充分发掘了用户的兴趣点，带动了新的商业模式。它主要依托流媒体技术来实现视频信息的实时传输。
手机操作系统的高速发展带来了用户对手机应用的巨大需求，3G的高速发展一定程度上解决了视频传输网络带宽的瓶颈问题。土豆网的视频源主要是PC端视频上传，且目前没有在线视频实时直播的功能，而UMVSP的提出主要针对移动应用，UMVSP将视频采集放到移动终端，如有摄像头的智能手机（本文中均以手机作为移动终端），系统用户可以随时随地拍摄视频并通过流媒体技术与其他人在线分享，WEB端用户可以实时观看视频，也可以订阅历史视频。
UMVSP的系统组成如图1所示。
图1UMVSP系统组成
在UMVSP中，智能手机是移动视频采集端，将获得的视频信息通过3G网络发送给流媒体服务器；流媒体服务器负责流媒体服务处理，包括视频流编解码处理、视频截图生成处理、视频流持久化处理等，并将视频开放给应用服务器；视频数据库服务器对视频进行分类和存储；应用服务器对系统用户进行管理，包括用户认证和权限控制等；访问客户端访问视频信息，进行视频实时展现或有目标的展现。
UMVSP的软件构架设计
某个软件或计算系统的软件构架是该系统的一个或多个结构，它们由软件元素、这些元素的外部可见属性以及这些元素之间的关系组成。 软件构架设计通常包含一系列相关设计文档，但其粗线条涉及的内容一般包括软件构架模式，参考模型和参考构架的设计。
UMVSP的参考模型设计
参考模型是一种考虑数据流的功能划分。UMVSP的参考模型如图2所示。
图2UMVSP的参考模型视图
如图2所示，手机客户端和WEB端通过流媒体服务器共同访问视频数据库。手机客户端采集视频后通过流媒体服务器的处理往视频数据库写入视频信息，WEB端用户通过认证后从数据库读取视频信息。流媒体服务器对视频质量、视频传输机制的处理对UMVSP的性能起关键性作用，而3G无线网络提供了充足的带宽保证视频直播的可行性。
UMVSP的参考构架设计
参考构架是映射到软件元素（它们相互协作，共同实现在参考模型中定义的功能）及元素之间数据流上的参考模型。UMVSP的参考构架如图3所示。
图3UMVSP的参考框架视图
如图3所示，UMVSP的参考构架分为Red5服务层、核心应用层、应用支撑层和数据存储层。
Red5服务层：主要提供流媒体服务，包括视频流处理、视频流发布、视频流传输、视频截图生成和视频持久化等。
核心应用层：UMVSP的核心应用包括视频采集、视频维护、视频检索和视频订阅等功能，由应用支撑层和Red5服务层支撑其实现。
应用支撑层：包括各种关键技术。Android手机操作系统支持移动终端视频采集客户端的实现；JW播放器支持WEB客户端FLV视频播放；Ajax界面构件库支持web客户端视频播放界面设计；用户管理系统建立用户管理机制，管理系统用户及对应视频库；业务管理系统支撑相关业务实现，在通用移动视频订阅平台中没有具体的业务需求。
数据存储层：数据存储层保存UMVSP的相关数据，包括业务数据库和视频数据库，其中视频数据库视频以flv文件的形式存储。
视频采集端与Red5服务器通信流程
Flash视频有诸多优势，比如压缩合理、图像清晰、适合网络传输和观看方便等，目前的Flash平台在手机操作系统上也有应用，它的开发平台Flexbuilder给开发人员提供了一个简单便捷的开发环境和良好的RIA(RichInternetApplications，富互联网应用)体验，而开源的Red5服务器能够对Flash格式的流媒体进行直接的传输和支持，所以UMVSP采用Flash技术作为手机端视频采集的开发工具。
Flash手机端视频数据通过3G无线网络可以与Red5流媒体服务器实现通信和发布订阅流媒体等功能。该流程实现如图4所示。
其中手机端Flash应用的主要对象说明如表1所示，图4中Camera是摄像头对象，Microphone是麦克风对象。手机端通过建立与Red5流媒体服务器的连接生成视频流传输通道，流媒体服务器有相应的方法响应Flash客户端的连接，如图4所示，Red5服务器在客户端连接时、视频流直播时和视频流开始发布时提供处理入口。
UMVSP视频关键帧生成策略
一个视频是由许多图像帧组成，一帧可以说是一幅静止的画面，视频可以看作是一个连续的帧图像序列。UMVSP在流媒体服务器端提取能代表视频数据流的关键帧作为视频截图，在WEB客户端展现给用户。
目前视频关键帧提取技术有很多，如有基于镜头的方法、其于内容分析的方法、基于运动的方法和基于聚类的方法等，各种方法各有其优点和局限性，很难说孰优孰劣，一般可以根据镜头的类型及特点，选择合适的关键帧提取算法。
二、概述
基于内容分析的方法主要基于每一帧的颜色、纹理、形状等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前的帧即可作为关键帧。实际应用中可以根据镜头内容的变化程度选择相应数目的关键帧。
UMVSP分析视频的颜色特征，该特征对于对象的运动(如旋转、平移和摄像头的运动均不敏感，因此易于提取且计算简单。UMVSP以颜色特征计算连续帧的差异度，最终取差异度最大的帧为关键帧且只取一个关键帧。当前，视频流图像解编码后一般还原到RGB颜色空间上，但RGB颜色空间的可分辨色差是非线性的，考虑到人的视觉特性和YCbCr颜色空间在亮度表示及分割方面的优点，UMVSP提出采用分别计算连续帧在RBG和YCbCr两种颜色空间上的差异度并以它们的加权平均值为最后考量标准的算法。
UMVSP关键帧生成算法
首先提出几个重要公式：
将RGB转换到YCbCr颜色空间的公式如下：
视频中每一帧图像记为f，则视频可用如下公式表示：
（其中n为视频V所包含的帧数）(2)
假定每一帧图像大小为宽w，高h，可以定义相邻两帧图像fi和fi+1的差异度Di为
（其中i的取值范围是1到n-1）(3)
相关变量说明见表2。
表2UMVSP关键帧生成算法变量说明
UMVSP关键帧提取流程如下：
A.设置视频V（video）中第一帧为上一帧LF，最大差异度Dmax为0；
B.从第二帧开始遍历视频V中所有帧，
a.提取当前帧CF；
b.通过公式3计算LF和CF在RGB颜色空间的差异度DiR；
c.通过公式1DiR将LF和CF转换到YCbCr颜色空间并计算差异DiY；
d.取DiR和DiY的加权平均值Di’做为相邻两帧图像fi和fi+1的差异；
e.比较Di’和Dmax大小。若Di’大于Dmax，则KF=LF，Dmax=Di’；
f.LF=CF。
通过以上算法流程遍历一段视频流，计算每一帧与前一帧在RGB颜色空间和YCbCr颜色空间上的差异度并取两个差异度的加权平均值，提取加权平均值最大的一帧为视频V的关键帧。
关键帧的生成策略有很多种，比较简单的是取视频流的第一帧为关键帧，但无法很好的表达视频的意义，UMVSP提出的关键帧生成策略通过实践验证有比较好的效果。
三、系统实现示例
上文阐述了UMVSP的软件构架、手机端与流媒体的通信流程及视频截图生成策略，下边以视频直播功能实现为例，验证本文研究内容的可行性。
图5展示了UMVSP视频直播原型界面，左侧四屏为正在直播的视频，右侧为视频列表，在视频列表中展示了每个视频的截图，可以看出UMVSP提出的关键帧生成策略有比较好的实现效果。
结束语：本文提出了基于3G和Red5的通用移动视频发布订阅平台，设计了其参考模型、参考构架，研究了其手机端和流媒体具体的通信流程，并设计了视频关键帧的生成策略。
实践表明，本文研究的通用平台有比较好的视频展示效果，对在通用平台基础上进行有针对性扩充的视频订阅平台起到良好的技术指导作用。
作者单位：东华大学计算机科学与技术学院
参考文献:
[1]齐鸿儒,童任,韩鹏.移动视频监控系统的设计与实现[J].计算机仿真,2007(8).
[2]吴福广.Internet/Intranet中的网络流媒体技术[J].南京广播电视大学学报,2002(2).
[3]钱国富.常见流媒体解决方案的比较研究[J].图书馆学研究,2003(2).
[4](美)巴斯等.软件构架实践[M].车立红等译.北京:清华大学出版社,2004.
[5]洪波.移动Flash渲染关键技术的研究[D].浙江:杭州电子科技大学,2009.
[6]杨华芬,郑欢鸣.基于内容的视频关键帧提取技术研究[J].福建电脑,2010(5).
[7]潘晓英,王昊.一种基于核聚类的关键帧提取方法[J].微机发展,2005,(3).
关键词：移动应用；流媒体服务器；视频关键帧；软件构架
中图分类号：TP3 文献标识码：A 文章编号：1006-4117（2012）01-0318-03
随着手机智能系统的发展和3G时代的到来，智能手机正在慢慢普及，而以手机智能系统为依托的各种移动应用也融入了生活的各个角落，带来了全新的应用体验，也蕴含着无限商机。
Red5是一款基于Java的开源流媒体服务器。它由Java语言编写，使用RTMP作为流媒体传输协议，具有流化FLV、MP3文件，实时录制客户端流为FLV文件，共享对象，实时视频播放、Remoting等功能。
本文以3G时代智能手机应用为出发点，以Red5框架为技术支撑，研究和设计针对移动视频的通用移动视频订阅平台原型系统（Universal Mobile Video Subscription Platform，以下简称为UMVSP），将该平台分为手机客户端、流媒体服务器、WEB应用客户端等部分，研究手机客户端与流媒体服务器的通信流程，并设计视频关键帧的生成策略。参照土豆网的成功经验，本文研究的面向3G智能手机的通用移动视频订阅平台有一定的市场价值。
一、问题的提出
流媒体技术是一种常用的能使音频、视频和其他多媒体元素在Internet及无线网络上以实时的、无需下载等待的方式进行播放的技术。
土豆网是中国最早和最大的视频分享平台，用户可以通过其平台轻松发布、浏览和分享视频作品，充分发掘了用户的兴趣点，带动了新的商业模式。它主要依托流媒体技术来实现视频信息的实时传输。
手机操作系统的高速发展带来了用户对手机应用的巨大需求，3G的高速发展一定程度上解决了视频传输网络带宽的瓶颈问题。土豆网的视频源主要是PC端视频上传，且目前没有在线视频实时直播的功能，而UMVSP的提出主要针对移动应用，UMVSP将视频采集放到移动终端，如有摄像头的智能手机（本文中均以手机作为移动终端），系统用户可以随时随地拍摄视频并通过流媒体技术与其他人在线分享，WEB端用户可以实时观看视频，也可以订阅历史视频。
UMVSP的系统组成如图1所示。
图1UMVSP系统组成
在UMVSP中，智能手机是移动视频采集端，将获得的视频信息通过3G网络发送给流媒体服务器；流媒体服务器负责流媒体服务处理，包括视频流编解码处理、视频截图生成处理、视频流持久化处理等，并将视频开放给应用服务器；视频数据库服务器对视频进行分类和存储；应用服务器对系统用户进行管理，包括用户认证和权限控制等；访问客户端访问视频信息，进行视频实时展现或有目标的展现。
UMVSP的软件构架设计
某个软件或计算系统的软件构架是该系统的一个或多个结构，它们由软件元素、这些元素的外部可见属性以及这些元素之间的关系组成。 软件构架设计通常包含一系列相关设计文档，但其粗线条涉及的内容一般包括软件构架模式，参考模型和参考构架的设计。
UMVSP的参考模型设计
参考模型是一种考虑数据流的功能划分。UMVSP的参考模型如图2所示。
图2UMVSP的参考模型视图
如图2所示，手机客户端和WEB端通过流媒体服务器共同访问视频数据库。手机客户端采集视频后通过流媒体服务器的处理往视频数据库写入视频信息，WEB端用户通过认证后从数据库读取视频信息。流媒体服务器对视频质量、视频传输机制的处理对UMVSP的性能起关键性作用，而3G无线网络提供了充足的带宽保证视频直播的可行性。
UMVSP的参考构架设计
参考构架是映射到软件元素（它们相互协作，共同实现在参考模型中定义的功能）及元素之间数据流上的参考模型。UMVSP的参考构架如图3所示。
图3UMVSP的参考框架视图
如图3所示，UMVSP的参考构架分为Red5服务层、核心应用层、应用支撑层和数据存储层。
Red5服务层：主要提供流媒体服务，包括视频流处理、视频流发布、视频流传输、视频截图生成和视频持久化等。
核心应用层：UMVSP的核心应用包括视频采集、视频维护、视频检索和视频订阅等功能，由应用支撑层和Red5服务层支撑其实现。
应用支撑层：包括各种关键技术。Android手机操作系统支持移动终端视频采集客户端的实现；JW播放器支持WEB客户端FLV视频播放；Ajax界面构件库支持web客户端视频播放界面设计；用户管理系统建立用户管理机制，管理系统用户及对应视频库；业务管理系统支撑相关业务实现，在通用移动视频订阅平台中没有具体的业务需求。
数据存储层：数据存储层保存UMVSP的相关数据，包括业务数据库和视频数据库，其中视频数据库视频以flv文件的形式存储。
视频采集端与Red5服务器通信流程
Flash视频有诸多优势，比如压缩合理、图像清晰、适合网络传输和观看方便等，目前的Flash平台在手机操作系统上也有应用，它的开发平台Flexbuilder给开发人员提供了一个简单便捷的开发环境和良好的RIA(RichInternetApplications，富互联网应用)体验，而开源的Red5服务器能够对Flash格式的流媒体进行直接的传输和支持，所以UMVSP采用Flash技术作为手机端视频采集的开发工具。
Flash手机端视频数据通过3G无线网络可以与Red5流媒体服务器实现通信和发布订阅流媒体等功能。该流程实现如图4所示。
其中手机端Flash应用的主要对象说明如表1所示，图4中Camera是摄像头对象，Microphone是麦克风对象。手机端通过建立与Red5流媒体服务器的连接生成视频流传输通道，流媒体服务器有相应的方法响应Flash客户端的连接，如图4所示，Red5服务器在客户端连接时、视频流直播时和视频流开始发布时提供处理入口。
UMVSP视频关键帧生成策略
一个视频是由许多图像帧组成，一帧可以说是一幅静止的画面，视频可以看作是一个连续的帧图像序列。UMVSP在流媒体服务器端提取能代表视频数据流的关键帧作为视频截图，在WEB客户端展现给用户。
目前视频关键帧提取技术有很多，如有基于镜头的方法、其于内容分析的方法、基于运动的方法和基于聚类的方法等，各种方法各有其优点和局限性，很难说孰优孰劣，一般可以根据镜头的类型及特点，选择合适的关键帧提取算法。
二、概述
基于内容分析的方法主要基于每一帧的颜色、纹理、形状等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前的帧即可作为关键帧。实际应用中可以根据镜头内容的变化程度选择相应数目的关键帧。
UMVSP分析视频的颜色特征，该特征对于对象的运动(如旋转、平移和摄像头的运动均不敏感，因此易于提取且计算简单。UMVSP以颜色特征计算连续帧的差异度，最终取差异度最大的帧为关键帧且只取一个关键帧。当前，视频流图像解编码后一般还原到RGB颜色空间上，但RGB颜色空间的可分辨色差是非线性的，考虑到人的视觉特性和YCbCr颜色空间在亮度表示及分割方面的优点，UMVSP提出采用分别计算连续帧在RBG和YCbCr两种颜色空间上的差异度并以它们的加权平均值为最后考量标准的算法。
UMVSP关键帧生成算法
首先提出几个重要公式：
将RGB转换到YCbCr颜色空间的公式如下：
视频中每一帧图像记为f，则视频可用如下公式表示：
（其中n为视频V所包含的帧数）(2)
假定每一帧图像大小为宽w，高h，可以定义相邻两帧图像fi和fi+1的差异度Di为
（其中i的取值范围是1到n-1）(3)
相关变量说明见表2。
表2UMVSP关键帧生成算法变量说明
UMVSP关键帧提取流程如下：
A.设置视频V（video）中第一帧为上一帧LF，最大差异度Dmax为0；
B.从第二帧开始遍历视频V中所有帧，
a.提取当前帧CF；
b.通过公式3计算LF和CF在RGB颜色空间的差异度DiR；
c.通过公式1DiR将LF和CF转换到YCbCr颜色空间并计算差异DiY；
d.取DiR和DiY的加权平均值Di’做为相邻两帧图像fi和fi+1的差异；
e.比较Di’和Dmax大小。若Di’大于Dmax，则KF=LF，Dmax=Di’；
f.LF=CF。
通过以上算法流程遍历一段视频流，计算每一帧与前一帧在RGB颜色空间和YCbCr颜色空间上的差异度并取两个差异度的加权平均值，提取加权平均值最大的一帧为视频V的关键帧。
关键帧的生成策略有很多种，比较简单的是取视频流的第一帧为关键帧，但无法很好的表达视频的意义，UMVSP提出的关键帧生成策略通过实践验证有比较好的效果。
三、系统实现示例
上文阐述了UMVSP的软件构架、手机端与流媒体的通信流程及视频截图生成策略，下边以视频直播功能实现为例，验证本文研究内容的可行性。
图5展示了UMVSP视频直播原型界面，左侧四屏为正在直播的视频，右侧为视频列表，在视频列表中展示了每个视频的截图，可以看出UMVSP提出的关键帧生成策略有比较好的实现效果。
结束语：本文提出了基于3G和Red5的通用移动视频发布订阅平台，设计了其参考模型、参考构架，研究了其手机端和流媒体具体的通信流程，并设计了视频关键帧的生成策略。
实践表明，本文研究的通用平台有比较好的视频展示效果，对在通用平台基础上进行有针对性扩充的视频订阅平台起到良好的技术指导作用。
作者单位：东华大学计算机科学与技术学院
参考文献:
[1]齐鸿儒,童任,韩鹏.移动视频监控系统的设计与实现[J].计算机仿真,2007(8).
[2]吴福广.Internet/Intranet中的网络流媒体技术[J].南京广播电视大学学报,2002(2).
[3]钱国富.常见流媒体解决方案的比较研究[J].图书馆学研究,2003(2).
[4](美)巴斯等.软件构架实践[M].车立红等译.北京:清华大学出版社,2004.
[5]洪波.移动Flash渲染关键技术的研究[D].浙江:杭州电子科技大学,2009.
[6]杨华芬,郑欢鸣.基于内容的视频关键帧提取技术研究[J].福建电脑,2010(5).
[7]潘晓英,王昊.一种基于核聚类的关键帧提取方法[J].微机发展,2005,(3).