随着存储技术、通信技术和处理器技术的迅速发展,人们对高质量视频服务的需求日益增加。H.264是新一代的国际视频编码标准,与以前的视频编码标准相比,它极大地提高了视频编码的率失真性能,但同时也增加了编码的计算复杂度。如何降低H.264编码的计算复杂度以及进一步优化它的率失真性能,是目前的两个研究热点。结合国家高技术研究发展计划(863)《高效帧间预测与新型变长编码及小波编码框架》工作,对H.264编码框架中的快速运动估计、模式选择、搜索范围调整、整数变换以及量化等关键性技术进行了研究。根据改进的逐次消除算法中得到的直流变换系数以及变换系数的分布模型,提出了一种全零块的判断准则。它不仅能够加快运动估计的速度,而且还能跳过变换、量化、反量化和反变换等环节,从而提高编码器的整体处理速度。为了进一步加快运动估计的处理速度,提出了一种基于分组的快速分数精度运动估计算法。实验结果表明:在保持相近率失真性能的同时,这两种算法分别能够最大降低31%和17%的编码计算复杂度。为了得到可变块尺寸算法中宏块的最佳块模式,编码器一般对所有块模式进行全搜索。这样虽然可以得到最优的率失真性能,但是其计算复杂度非常大。此外,在运动估计过程中最大搜索范围一般是固定的,这会浪费大量的计算用于搜索那些不必要的匹配点。基于宏块编码模式和最佳搜索范围的时空相关性,提出了一种快速模式选择算法和一种自适应的搜索窗口调整算法,它们能够降低模式选择的计算复杂度和减少必须搜索的匹配点数。实验结果表明:在保持相近率失真性能的同时,快速模式选择算法能够最大降低83%的编码计算复杂度,自适应的搜索窗口调整算法能够最大节省96%的搜索点数。离散余弦变换被广泛用于基于块的图像和视频编码标准中。由于其变换矩阵中的元素为无理数,可能导致在编码器和解码器中解码的数据不一致。针对这个问题,提出了一种新的整数变换矩阵,它能够避免解码数据的不一致性的问题,而且比H.264标准中采用的整数变换更接近DCT变换,因此有更好的去相关和能量压缩性能。此外,对它的量化和反量化过程以及量化过程中量化偏移比参数的选取也进行了分析。总之,对H.264编码框架中的快速运动估计、模式选择、搜索范围调整、整数变换和量化等技术进行了深入的研究。实验结果表明,速度优化算法在保持相近率失真性能的同时,能够有效降低编码的计算复杂度;新的整数变换及其量化方法能够提高编码的率失真性能。