随着互联网技术对人们生活的不断渗透,数字视频的产生速度和数量增长迅速,人类社会已进入大数据时代。海量的视频对于视频的存储和传输提出了更大的挑战,这也使得对数字视频编码标准的研究一直是学术界和工业界的热点。2013年,新一代视频编码标准——高效视频编码(High Efficiency Video Coding,HEVC)正式发布,和上一代视频编码标准H.264/AVC相比,编码性能获得了大幅度的提升。HEVC在带来高性能的同时也带来了复杂度的大幅度增加,因此在实际应用中对视频编码标准进行合理的优化,降低编码复杂度,从而提升视频编码效率具有重要的意义。本文立足于率失真优化的基本理论,从码率控制、帧内编码、帧间编码以及主观视觉四个层面探讨对HEVC的率失真优化技术,主要研究内容包括如下四个部分。第一,视频需要有一个良好的码率控制方法以确保编码视频的有效传输,目前HEVC中的码率控制方法并没有充分考虑HEVC新的编码结构和特性。本文基于HEVC中新的编码结构和特性提出了一种基于Rate-GOP的码率控制方法。首先本文研究了Rate-GOP中帧间的率失真依赖性关系,并基于这种依赖性关系提出了基于率失真依赖性的率失真模型和基于Rate-GOP的率失真模型。其次,基于变换系数的混合拉普拉斯分布,本文提出一种变换域的二次ρ-R模型,并建立了R和QP之间的关系;最后基于上述模型,提出了一种基于率失真优化的码率分配方法。实验结果表明,和相关算法相比,本文方法具有较高的码率控制性能。第二,HEVC的帧内编码采用了更多的预测模式,最多达到35种,同时对于编码单元采用基于四叉树的划分结构以确定最优的划分模式,这大大增加了帧内编码的复杂度。为了有效降低HEVC帧内编码的复杂度,本文基于梯度方差、纹理以及预测模式的分布之间的关系,首先提出了一种自适应的预测模式数量的收缩方法;其次,基于哈达玛变换和量化,本文提出了一种预测模式决策模型以提升预测模式决策的准确性。实验结果表明,本文方法有效减少了帧内预测模式的数量,在客观质量下降几乎可以忽略的情况下,有效降低了帧内编码的复杂度,提升了帧内编码的效率。同时,本文算法在AVS2平台上也可以有效降低帧内编码的复杂度。第三,HEVC中的帧间编码,依然采用了多参考帧的运动补偿,同时对编码单元采用了基于四叉树的划分结构,这大大增加了运动估计的复杂度,为了有效降低帧间编码的复杂度,本文从参考帧选择和编码单元的划分两个方面提出了对帧间编码的率失真优化技术。首先,针对HEVC特有的参考帧集合的结构,基于参考帧分布的时空特性,提出了一种基于运动复杂度的参考帧快速决策方法,以减少多参考帧带来的运动估计的复杂度增加。其次,基于对同一深度下编码单元划分与未划分情况下的率失真代价分布的统计,提出了一种基于率失真代价的快速划分决策方法,以减少不必要的划分带来的复杂度提升。实验结果表明,本文的帧间率失真优化方法有效降低了帧间编码的复杂度,同时客观质量的下降几乎可以忽略。第四,HEVC中,新的编码技术的采用导致了视频质量的主观影响因素发生了改变,这对如何从视觉的角度对HEVC进行优化提出了新的课题,本文首先基于分歧归一化理论,提出了一种适合HEVC的视觉因子的计算方法,然后对该视觉因子应用非线性缩放方法进行缩放,以适合人眼的视觉特性,并用于编码过程中对量化参数的调整;其次根据HEVC的编码特性提出了一种基于视觉特性的率失真代价计算方法进行模式决策。实验结果表明,该方法能够实现对量化参数的有效调节,能够较大幅度的提升视频编码的主观性能。同时,本文算法在AVS2平台上,也可以有效果提升视频编码的主观性能。