视频编码的主要目标就是要在编码效率、图像重建质量和编码复杂度之间找到最佳的平衡点。H.264视频编码标准只规定了视频码流编码语法和解码方法,它并没有对编码器给出明确定义,这就为编码器中各项技术的研究留下了广阔的空间。为了在限定的信道带宽、计算复杂度、延时和缓存下获得较好的视频通信质量,必须采用适当的策略来控制编码器,将码率输出控制在一定范围内。本文深入分析了编码标准中计算复杂度极高的率失真优化技术和码率控制的基本原理,探讨了视频编码中产生码率波动的主要原因,并总结了最新的率失真优化和码率控制的研究成果。在此基础上,首先提出了一种改进的二次率失真模型,来更准确地描述信源的率失真特性;之后引入了帧内容复杂度的概念,并依据当前帧在整个GOP中所占的时间和空间复杂度比率来分配帧层目标比特,结合改进的二次率失真模型提出了一种新的帧层码率控制算法,基于复杂度比率对跳帧策略也做了改进。新的码率控制算法和跳帧算法有效地克服了原算法在码率控制精度和编码性能上的不足。本文的算法实现在参考软件JM10.2平台上,实验结果表明,与现有的经典算法相比,本文算法能够对视频图像的编码复杂度做出准确的估计,并据此合理的分配目标比特数,使得编码后的实际码率更接近目标码率,获得了更好的图像重建质量,平均PSNR提高了0.28dB;有效控制了输出码率的波动,使得缓冲区充满度维持在一定范围内,有效地减少了跳帧现象的发生。