随着互联网信息产业与文化娱乐产业的发展,人们对视频数据的清晰度的需求日益增加。在有限带宽的前提下,保持视频数据的高分辨率,高质量是视频编码标准的主要研究目标。视频编码中的帧间预测参考以及率失真优化技术是两项极为重要的技术,通过视频帧之间相关性的继承,结合率拉格朗日最优化理论,使视频编码质量与码率得到极好的平衡。现有的参考结构与优化参数采用经验训练参数,对多样化的视频信源不具备自适应性。固定的参数分配对参考帧间时域依赖未做充分考虑。经验性的优化参数在理论上不完备,无法进一步逼近最优值。本文针对视频编码参考结构与优化方法存在问题,结合卷积神经网络方法,从三个方面开展研究。1.针对低延迟编码结构缺乏自适应性的问题,提出自适应参考帧抉择算法。根据低延迟参考结构,统计编码比特依赖性,建立参考帧影响因子模型,计算参考帧辐射最远距离,为编码帧自适应分配合理参考集合,以提升编码性能。该算法与HEVC参考软件相比,最高编码性能提升达到0.93%。2.针对视频时域分层结构参数固定的问题,提出参考结构决定拉格朗日乘子算法。根据时域分层结构特性,构建分层参考强度模型,结合时域层级、参考强度、质量差异,建立分层拉格朗日乘子调节模型,为时域分层分配合理优化参数,获得编码性能增益。与AVS2标准参考软件相比,在多种编码结构下取得最大1.3%的编码性能提升。3.依据卷积神经网络方法,以感受野理论为基础,设计感受野下降卷积神经网络,对图像特征进行深层次、粗粒度与细粒度描述。迭代训练与优化网络结构,提升编码失真图像的客观质量。网络应用于超高分辨率图像,取得平均0.5dB的综合PSNR提升。通过上述研究,本论文工作提出的自适应参考方法与编码优化参数抉择策略,在当前的混合编码架构下进一步改善视频编码效率。与HEVC、AVS编码标准平台相比,对编码性能均有明显增益。本文提出感受野下降神经网络,对超高分辨率、多场景的图像集合,取得显著的客观质量提升。本文所提出的优化工具已被AVS2标准采纳应用,所提出的网络结构参与ChinaMM主办的深度学习图像滤波竞赛,并获得创意奖。