论文部分内容阅读
【摘要】本文叙述了在广播电视台融媒体技术体系中转码云平台的定位、构成和实现方式，阐明了基于混合云概念的转码平台的设计原理和采用的关键技术。
【关键词】转码云 混合云 服务抽象化 SDI/IP统一调度 N+M备份
引言
在广播电视台的融合媒体构架中，转码平台是起到核心作用的基础平台。无论是传统媒体信源转换成新媒体资源，还是新媒体各应用系统之间的素材交换都离不开一个稳健、强大的转码系统。可以说转码系统是媒体资源融合生产和发布的前提条件，如何高效实现转码系统也是融媒体系统能否高效运行的前提条件。
在黑龙江广播电视台融媒体技术架构中，我们将转码平台定位为基础技术支撑平台的核心业务平台。在融媒体架构下，业务种类非常丰富，既有网台、手机电视等新媒体应用，又有IPTV等准新媒体应用，更包含非编网、媒资系统等传统媒体业务平台，在这种场景下，要求转码平台具备很强的性能弹性和良好的扩展性能才能与融合生产机制适配。为此，我们采用了云系统体系结构来实现转码平台，我们对整个转码平台进行了硬件的透明化和服务抽象化的设计和实现，保证了底层热扩展和随意伸缩及性能调配的自由度，同时通过服务抽象化大大简化了各业务系统使用转码平臺的复杂度。另外，为了保证新媒体直播和转播的效率，我们对外场直播需求的实时编码采用了公有云方案，保证了外场转播最快速地发往同样位于公有云的直播服务器，减少传输环节，最大限度保证了直播的低延迟和流畅性。通过这种私有云和公有云结合的混合云架构转码系统，我们最大限度实现了融媒体平台高效流畅的基础编码支撑服务。
一.转码平台的云体系架构设计
1.混合云架构设计
黑龙江广播电视台的转码平台采用混合云架构实现。一般来说，采用混合云架构一般都是企业出于安全性考虑，将私有数据放置于私有云中，同时可以充分利用公有云的强大计算资源而采取的折中方案。混合云的架构如图1所示：
在黑龙江广播电视台的转码体系中，采用混合云架构首要考虑的因素是效率。为了保证访问的流畅和对大规模用户的支持，我台的新媒体直播服务器大都部署在公有云上，如果编码采用私有云，则直播时需要将信号传输回台内，转码后再通过台内平台发布到公有云平台，这种方式会造成转播信号延迟增大，传输故障增加，卡顿现象增多。所以针对外场新媒体直播信号，我们均采用公有云编码方案，直接将信号编码后推送给公有云上的直播平台。
另一方面，对于台内的各种直播信号以及台外电视转播信号，我们在台内构建来强大的私有云转码平台，能够为台内的各种直播信号、视音频制作文件等提供强大的转码服务，并智能推送到各个发布平台，完成融媒体系统内的文件交换过程。
2.公有云转码服务系统
公有云转码系统主要用于新媒体网络直播场景，如图2所示：
公有云转码平台提供基于单个直播流业务粒度的线路质量智能监控及实时动态的数据统计，提供自动容错及全方位的数据分析，定位并优化直播卡顿率，并实现了超低的延时。采用全新网格编码算法，实时计算全链路状态，按需智能配置最佳节点，实现了首页秒开、千万级并发等直播保障功能。
公有云转码平台提供了多种类采集SDK和播放SDK，并开放云端API实现透明播控管理，助力平台快速构建直播平台的核心业务，提高开发效率。转码系统还具备了实时录制、实时水印、实时截图、美颜滤镜等众多与网络直播紧密结合的服务模块。
公有云转码平台具备多重安全措施，如推流、播放认证、防盗链及鉴黄服务等，有效保障直播的安全。公有云提供的安全保障能力也是我们采用公有云编码服务的重要原因。
3.私有云架构设计
与公有云转码系统定位于新媒体直播的补充平台不同，私有云转码平台是融媒体转码平台的核心部分。我们的私有转码云平台实现了三层架构的云平台系统，如图3所示：
私有云转码系统逻辑上由硬件层、逻辑抽象层和应用层三个层面构成。硬件层主要由编码器硬件集群构成，通过离线编码集群和在线编码集群及调度服务器等构成了云编码系统的IaaS层。所不同的是，我们的云编码系统不对外提供IaaS层服务，这个硬件层纯粹是为了上层服务提供支持。
逻辑抽象层把底层的编码集群抽象成单一的编码服务，本系统中，我们并没有采用硬件虚拟技术，但依然实现了硬件的抽象化，我们可以按性能需求将物理编码集群分割成若干逻辑编码器，用户可见的是系统可分配的逻辑编码器的数量，而无需关心物理硬件构成。在这个层面，用户可见的是流编码接口和文件编码接口两类开发工具，通过该PaaS层工具，我们可以向系统申请一个流编码资源或文件编码资源，而无需了解底层的硬件构成和编码能力。
应用层（SaaS层）把编码服务封装成了应用，用户通过任务管理应用可以创建、修改、撤销一个流编码任务或文件编码任务，通过填写工单的形式就可以创建一个所需的编码任务，然后通过文件调度或者码流调度应用模块，将编码任务的输出调度到自己所需的目的地。
从图3还可以看出，将编码系统分成三个层次加以实现，底层的任何变化，不会影响上层原有功能，底层热扩展带来的性能扩充可以透明传导到上层，上层自动获得了能力的提升，此外，上层还可以根据需要不断扩充功能模块而无需对底层直接操控。
二.转码云平台的构成与实现
在黑龙江广播电视台的融媒体平台中，编码源有IP流、SDI流和文件三种，对应的编码后需求有IP流、文件两种。转码云平台的系统图如图4所示。
转码云系统包含離线编码器集群、在线编码器集群、编码器集群备份、集群管理服务器、SDI矩阵、管理工作站及主备信源交换机和主备输出交换机构成。
SDI信源通过跳线盘连入矩阵，每台物理编码器提供4路SDI输入，矩阵输出4*N路接入编码器集群，矩阵信号由管理服务器和工作站与IP信号实现了统一调度，矩阵仅在应急时手动操作，其余一律由调度服务器自动调度信号。
IP流信号经万兆链路分主备分别接入主备信源交换机，编码集群能够自动侦测主备信源状态并实现自动切换，转码后的IP流经主备输出交换机分别传输到目的地码流服务器。转码后如果生成文件也自动根据配置信息推送至目标存储位置，并自动生成元数据信息。视频源文件会被编码集群按工单参数自动读取，完成转码过程。以上阐述的是编码云底层的物理构成和基础工作方式，需要强调的是，在用户端不允许直接访问硬件层，所以编码云的底层工作方式对用户透明，用户只需调用PaaS或SaaS层工具即可完成转码任务并监控工作流程和进度。
三.转码云平台的保障机制
切换机制、主备信源输出机制、N+M备份机制
与一般系统平台不同，云系统在带给用户便捷的同时，也更加难以维护，为了确保云系统无故障运行和系统的健壮性，我们在云转码系统中设计了多重安全保障措施，确保云系统7*24小时流畅运行。
1.物理单设备级安全保障
单机设备安全是系统安全的基础，我们为每台物理设备配备了双电源冗余，并支持热插拔；提供多个千兆以太网口，输入、输出、通讯独立网口均采用双路聚合配置，每对网口采用冗余绑定，并能够实现故障网口自动漂移；物理设备均采用Linux操作系统，防止病毒入侵；设备本身提供声光报警和联网管控软件；
2.信号级安全保障
该云平台的一大特色是支持主备异构信号源同时接入系统，主/备路信号的音视频编码格式甚至可以不一致，例如双路卫星信号就可以同时接入AVS+和H.264的主备信号；系统会根据信号质量自动选择信号源。同时支持主备异构信号流协议，方便从不同来源获取信号；当主、备信源均失效时，系统能够自动加载垫片输出；支持手动启用主/备/垫片信源编码输出；支持不同网口双路镜像输出。通过一系列的信号保障措施，我们的云编码系统实现了广播级的信号转换和调度。集群对信号的切换设置如图5所示：
可以看出当信源中断，超过N秒、信源目标不可达、网卡处于link状态，但是信源目标不可达、信源目标可达，无数据或数据包数量为0、Program ID变化、视频流丢失、音频流丢失、信源丢包，连续计数器错误等等情况下，都可以触发系统的信源切换操作。SDI信号主备的切换通过服务器对主备信号的监测，对矩阵直接操控完成。
3.系统级安全保障
云转码系统采用集群网管控制器，对多个在线编转码设备实时集群管理；支持N+M安全备份策略，备份策略可在线热调整；集群控制器采用1+1主备，双机心跳监测与接管倒换；即使集群控制器失效宕机，在维护时间范围内也不影响编转码设备工作；在N+M模式下，针对每台设备上的4路SDI信号，当该设备故障需将任务漂移到其他机器时，4路SDI输出会自动按漂移策略，由控制服务器操作矩阵将SDI输出调整到新设备上。通过系统级的保障手段，打造了一个安全健壮，完全适配融媒体应用的转码云系统。
四.结束语
黑龙江广播电视台转码云平台作为我台融媒体技术平台的重要组成部分和基础支撑平台，已经正式上线投入使用，该平台支持专业高清格式如MPEG2 I帧、M X F等，同时支持H.264、H.265以及AVS+等编码方式，支持UDP、RTP、HTTP、HLS等协议，使得这套转码云平台在IPTV业务、手机电视业务、网台业务以及传统高清制播业务都得到了广泛的应用，随着融合媒体的建设推进，转码云平台也必将发挥出越来越大的作用。B&P
【关键词】转码云 混合云 服务抽象化 SDI/IP统一调度 N+M备份
引言
在广播电视台的融合媒体构架中，转码平台是起到核心作用的基础平台。无论是传统媒体信源转换成新媒体资源，还是新媒体各应用系统之间的素材交换都离不开一个稳健、强大的转码系统。可以说转码系统是媒体资源融合生产和发布的前提条件，如何高效实现转码系统也是融媒体系统能否高效运行的前提条件。
在黑龙江广播电视台融媒体技术架构中，我们将转码平台定位为基础技术支撑平台的核心业务平台。在融媒体架构下，业务种类非常丰富，既有网台、手机电视等新媒体应用，又有IPTV等准新媒体应用，更包含非编网、媒资系统等传统媒体业务平台，在这种场景下，要求转码平台具备很强的性能弹性和良好的扩展性能才能与融合生产机制适配。为此，我们采用了云系统体系结构来实现转码平台，我们对整个转码平台进行了硬件的透明化和服务抽象化的设计和实现，保证了底层热扩展和随意伸缩及性能调配的自由度，同时通过服务抽象化大大简化了各业务系统使用转码平臺的复杂度。另外，为了保证新媒体直播和转播的效率，我们对外场直播需求的实时编码采用了公有云方案，保证了外场转播最快速地发往同样位于公有云的直播服务器，减少传输环节，最大限度保证了直播的低延迟和流畅性。通过这种私有云和公有云结合的混合云架构转码系统，我们最大限度实现了融媒体平台高效流畅的基础编码支撑服务。
一.转码平台的云体系架构设计
1.混合云架构设计
黑龙江广播电视台的转码平台采用混合云架构实现。一般来说，采用混合云架构一般都是企业出于安全性考虑，将私有数据放置于私有云中，同时可以充分利用公有云的强大计算资源而采取的折中方案。混合云的架构如图1所示：
在黑龙江广播电视台的转码体系中，采用混合云架构首要考虑的因素是效率。为了保证访问的流畅和对大规模用户的支持，我台的新媒体直播服务器大都部署在公有云上，如果编码采用私有云，则直播时需要将信号传输回台内，转码后再通过台内平台发布到公有云平台，这种方式会造成转播信号延迟增大，传输故障增加，卡顿现象增多。所以针对外场新媒体直播信号，我们均采用公有云编码方案，直接将信号编码后推送给公有云上的直播平台。
另一方面，对于台内的各种直播信号以及台外电视转播信号，我们在台内构建来强大的私有云转码平台，能够为台内的各种直播信号、视音频制作文件等提供强大的转码服务，并智能推送到各个发布平台，完成融媒体系统内的文件交换过程。
2.公有云转码服务系统
公有云转码系统主要用于新媒体网络直播场景，如图2所示：
公有云转码平台提供基于单个直播流业务粒度的线路质量智能监控及实时动态的数据统计，提供自动容错及全方位的数据分析，定位并优化直播卡顿率，并实现了超低的延时。采用全新网格编码算法，实时计算全链路状态，按需智能配置最佳节点，实现了首页秒开、千万级并发等直播保障功能。
公有云转码平台提供了多种类采集SDK和播放SDK，并开放云端API实现透明播控管理，助力平台快速构建直播平台的核心业务，提高开发效率。转码系统还具备了实时录制、实时水印、实时截图、美颜滤镜等众多与网络直播紧密结合的服务模块。
公有云转码平台具备多重安全措施，如推流、播放认证、防盗链及鉴黄服务等，有效保障直播的安全。公有云提供的安全保障能力也是我们采用公有云编码服务的重要原因。
3.私有云架构设计
与公有云转码系统定位于新媒体直播的补充平台不同，私有云转码平台是融媒体转码平台的核心部分。我们的私有转码云平台实现了三层架构的云平台系统，如图3所示：
私有云转码系统逻辑上由硬件层、逻辑抽象层和应用层三个层面构成。硬件层主要由编码器硬件集群构成，通过离线编码集群和在线编码集群及调度服务器等构成了云编码系统的IaaS层。所不同的是，我们的云编码系统不对外提供IaaS层服务，这个硬件层纯粹是为了上层服务提供支持。
逻辑抽象层把底层的编码集群抽象成单一的编码服务，本系统中，我们并没有采用硬件虚拟技术，但依然实现了硬件的抽象化，我们可以按性能需求将物理编码集群分割成若干逻辑编码器，用户可见的是系统可分配的逻辑编码器的数量，而无需关心物理硬件构成。在这个层面，用户可见的是流编码接口和文件编码接口两类开发工具，通过该PaaS层工具，我们可以向系统申请一个流编码资源或文件编码资源，而无需了解底层的硬件构成和编码能力。
应用层（SaaS层）把编码服务封装成了应用，用户通过任务管理应用可以创建、修改、撤销一个流编码任务或文件编码任务，通过填写工单的形式就可以创建一个所需的编码任务，然后通过文件调度或者码流调度应用模块，将编码任务的输出调度到自己所需的目的地。
从图3还可以看出，将编码系统分成三个层次加以实现，底层的任何变化，不会影响上层原有功能，底层热扩展带来的性能扩充可以透明传导到上层，上层自动获得了能力的提升，此外，上层还可以根据需要不断扩充功能模块而无需对底层直接操控。
二.转码云平台的构成与实现
在黑龙江广播电视台的融媒体平台中，编码源有IP流、SDI流和文件三种，对应的编码后需求有IP流、文件两种。转码云平台的系统图如图4所示。
转码云系统包含離线编码器集群、在线编码器集群、编码器集群备份、集群管理服务器、SDI矩阵、管理工作站及主备信源交换机和主备输出交换机构成。
SDI信源通过跳线盘连入矩阵，每台物理编码器提供4路SDI输入，矩阵输出4*N路接入编码器集群，矩阵信号由管理服务器和工作站与IP信号实现了统一调度，矩阵仅在应急时手动操作，其余一律由调度服务器自动调度信号。
IP流信号经万兆链路分主备分别接入主备信源交换机，编码集群能够自动侦测主备信源状态并实现自动切换，转码后的IP流经主备输出交换机分别传输到目的地码流服务器。转码后如果生成文件也自动根据配置信息推送至目标存储位置，并自动生成元数据信息。视频源文件会被编码集群按工单参数自动读取，完成转码过程。以上阐述的是编码云底层的物理构成和基础工作方式，需要强调的是，在用户端不允许直接访问硬件层，所以编码云的底层工作方式对用户透明，用户只需调用PaaS或SaaS层工具即可完成转码任务并监控工作流程和进度。
三.转码云平台的保障机制
切换机制、主备信源输出机制、N+M备份机制
与一般系统平台不同，云系统在带给用户便捷的同时，也更加难以维护，为了确保云系统无故障运行和系统的健壮性，我们在云转码系统中设计了多重安全保障措施，确保云系统7*24小时流畅运行。
1.物理单设备级安全保障
单机设备安全是系统安全的基础，我们为每台物理设备配备了双电源冗余，并支持热插拔；提供多个千兆以太网口，输入、输出、通讯独立网口均采用双路聚合配置，每对网口采用冗余绑定，并能够实现故障网口自动漂移；物理设备均采用Linux操作系统，防止病毒入侵；设备本身提供声光报警和联网管控软件；
2.信号级安全保障
该云平台的一大特色是支持主备异构信号源同时接入系统，主/备路信号的音视频编码格式甚至可以不一致，例如双路卫星信号就可以同时接入AVS+和H.264的主备信号；系统会根据信号质量自动选择信号源。同时支持主备异构信号流协议，方便从不同来源获取信号；当主、备信源均失效时，系统能够自动加载垫片输出；支持手动启用主/备/垫片信源编码输出；支持不同网口双路镜像输出。通过一系列的信号保障措施，我们的云编码系统实现了广播级的信号转换和调度。集群对信号的切换设置如图5所示：
可以看出当信源中断，超过N秒、信源目标不可达、网卡处于link状态，但是信源目标不可达、信源目标可达，无数据或数据包数量为0、Program ID变化、视频流丢失、音频流丢失、信源丢包，连续计数器错误等等情况下，都可以触发系统的信源切换操作。SDI信号主备的切换通过服务器对主备信号的监测，对矩阵直接操控完成。
3.系统级安全保障
云转码系统采用集群网管控制器，对多个在线编转码设备实时集群管理；支持N+M安全备份策略，备份策略可在线热调整；集群控制器采用1+1主备，双机心跳监测与接管倒换；即使集群控制器失效宕机，在维护时间范围内也不影响编转码设备工作；在N+M模式下，针对每台设备上的4路SDI信号，当该设备故障需将任务漂移到其他机器时，4路SDI输出会自动按漂移策略，由控制服务器操作矩阵将SDI输出调整到新设备上。通过系统级的保障手段，打造了一个安全健壮，完全适配融媒体应用的转码云系统。
四.结束语
黑龙江广播电视台转码云平台作为我台融媒体技术平台的重要组成部分和基础支撑平台，已经正式上线投入使用，该平台支持专业高清格式如MPEG2 I帧、M X F等，同时支持H.264、H.265以及AVS+等编码方式，支持UDP、RTP、HTTP、HLS等协议，使得这套转码云平台在IPTV业务、手机电视业务、网台业务以及传统高清制播业务都得到了广泛的应用，随着融合媒体的建设推进，转码云平台也必将发挥出越来越大的作用。B&P