H.264视频编码国际标准是由ITU-T的视频专家组和ISO/IEC的运动图像专家组共同组成的联合视频小组JVT (Joint Video Team)制定的。为了实现更高的编码效率,H.264标准采用了许多新技术,例如4×4块的整数变换、空域内的帧内预测、1/4像素精度的运动估计、多参考帧与可变尺寸编码块模式的帧间预测、基于内容的熵编码以及新的环路滤波技术等。与以往的标准(诸如MPEG-4和H.263)相比,H.264在编码效率方面有着更优越的性能,但其编码复杂度极高。因此,研究如何降低巨大的编码复杂度,对标准的发展至关重要。对于H.264编码器而言,整数离散余弦变换DCT (Discrete Cosine Transform)和量化是两个重要的环节。由于中、低码率视频都具有运动缓慢和运动补偿的残差值小的特点,编码器用于变换和量化的计算量比例增大。因此,降低这部分的计算量是很有必要的。本文主要是从实时视频应用的角度,对H.264编码过程中整数变换和量化模块的加速问题以及H.264编码器优化两个方面进行了研究。文中首先分析H.264标准中整数DCT变换和量化的基本原理,然后采用高斯分布来考察H.264中的残差系数和4×4整数DCT变换系数,并根据DCT变换系数的能量分布特点以及“Zigzag扫描”的特性划分亮度、色度分量DCT简化块模型,将Hadamard变换和量化前确定的变换绝对差值总和(SATD)作为预测全零系数块的依据,提出了一种快速有效的全零块预测算法。实验结果表明,该方法在保持图像质量的情况下,能够减少H.264编码过程中的DCT变换、量化、反DCT变换和反量化的运算量,提高了H.264的编码效率。最后,针对一些耗时较多的关键模块,如整数像素运动估计中计算SAD、整数变换、量化、Hadamard变换以及亚像素运动估计中计算SATD等,利用Pentium4CPU支持的SSE2指令集的并行运算能力对其进行指令级优化。实验结果表明,经过优化后,在保持视频图像质量的前提下,相应模块运行速度得到了提高。