论文部分内容阅读
随着计算机网络技术、视音频处理技术的不断进步,以及WLAN、4G等无线网络的不断建设和覆盖,视音频应用业务迅猛发展。视频通话、移动直播、云视频服务等多媒体业务需求不断增长,随时随地进行视音频信息处理逐渐成为网络生活的新常态。本课题在华为海思Hi3516A开发平台上,结合云服务器,设计并实现一款基于无线网络的智能视频编码软件,支持视频数据的采集、智能侦测、智能编码、智能存储、无线传输、云平台视频处理等功能,可以满足移动直播、户外监控、高清录制等不同应用场景下的视频业务需求,具有良好的应用价值。论文的主要内容如下:(1)通过分析智能视频编码软件的功能和性能需求,选定Hi3516A开发平台。结合Hi3516A处理器特性设计软件主体框架,主要由视频采集检测、视频编码、视频码流传输三个模块组成。最后阐述软件开发方案,并完成开发环境的搭建。(2)设计视频采集检测模块。基于海思媒体处理平台MPP框架,实现对索尼IMX-178传感器的视频图像采集,并对图像进行预处理和OSD信息叠加。采用智能视频引擎IVE模块设计并实现运动目标检测功能,得到的检测结果将用于后续智能视频编码策略的研究和设计。(3)设计视频编码模块。基于MPP框架设计视频编码基本功能,支持典型编码参数设置以及H.264和H.265编码标准的实时切换。针对本地码流保存应用,利用运动目标检测结果,设计智能编码和存储策略,实现视频应用场景自动检测与编码参数自适应调整等功能。同时利用MPP中的感兴趣区域编码接口,通过调整量化参数值优先保证运动目标区域画质,优化视频码率资源配置,进一步降低码流数据量,提高存储空间资源利用率。(4)设计视频码流传输模块。通过Socket编程设计基于TCP协议的服务器端和客户端基本通信框架。同时,针对Wi-Fi和4G不同网络使用环境,设计基于云服务器的视频处理应用,实现并优化视频码流云端存储、转发以及数据通信等功能,满足短距离低延时和远距离传输的使用需求。针对无线网络视频传输应用,设计智能编码与传输策略,实现网络传输阻塞自动检测与编码参数自适应调整等功能。此外,采用SVC可伸缩编码,优化码流在不同网络带宽环境下的传输效率。最后,基于gSOAP工具搭建ONVIF协议框架,使软件在网络视频传输中作为视频发送者NVT存在,支持符合ONVIF规范开发的网络视频客户端NVC连接并获取视频数据资源。