近年来，随着数字视频应用的日益广泛，图像压缩标准也在不断的提高和完善中。为此，国际标准化组织(ISO)和国际电信联盟(ITU)提出了一系列视频编码的国际标准。其中最为引人注目的是由ISO和ITU成立的联合视频工作组(JVT)在H.26L基础上开发出的最新视频压缩编码标准，即H.264/AVC标准。同以往的视频编码标准相比，H.264/AVC在编码效率和图像质量方面有着大幅度的提升。这些编码性能的改善是由于H.264/AVC采用了许多不同于以往视频编码标准的先进技术，比如宏块的多种编码模式，多参考帧，去块滤波器，更高像素精度的运动估计等。这些新技术的引入在提高了编码效率的同时也增加了编码器的计算复杂度，影响了编码时间，这就使得H.264/AVC在实时视频编码及传输应用中面临着巨大的挑战。目前，如何减少H.264/AVC的复杂度是视频编码领域的热点问题之一。研究表明，增加H.264/AVC编码计算量的主要原因是由于采用了众多的编码模式。因此，本文的研究重点在于H.264/AVC的快速模式选择技术，即通过某种算法迅速确定宏块的编码模式，同时又能保证编码效率。 本文首先回顾了视频发展的历程及其基本原理，在介绍了H.264/AVC的体系结构以及编码框架后，详细分析了H.264/AVC中所采用的新技术。接着第三章首先从时间复杂度以及空间复杂度两方面分析了H.264/AVC的编码复杂度，指出复杂度主要来源于采用了众多的编码模式以及相关的率失真技术。为此，我们较为详细地分析了H.264/AVC中使用的13种帧内编码模式，8种帧间编码模式以及率失真准则，并总结了其编码过程。然后根据优化目标的不同将现有的模式选择技术进行了研究分类。 建立在前面章节分析的基础上，本文的研究内容是围绕宏块帧间以及帧内编码模式的整体优化而展开的。首先，第四章重点分析了宏块模式间的相关性，为下文提出的快速算法提供理论依据。本文通过实验统计了宏块编码模式的分布情况，并依据特性的不同将图像中的区域划分为4类，同时也将所有的编码模式划分为相应的4个模式子集。通过分析当前宏块编码模式及其周围区域中参考宏块编码模式的关系，本文得出重要结论：当前宏块编码模式所属的模式子集在其周围临近区域中的使用频率是统计最高的。从而为快速确定宏块的编码模式提供了一个重要的方法。 基于第四章的理论分析以及实验结果，第五章提出了一种利用宏块间编码模式相关性的快速模式选择算法，其主要思想是：(1) 利用临近区域内的参考宏块的编码模式，为当前宏块初步预测出一个编码模式子集。(2) 估计与当前宏块相关性最大的参考宏块，加大其在模式预测时所起到的作用，从而调整步骤1得到的模式子集。(3) 只根据模式子集中的模式进行编码以及率失真优化，并从中选出最优的一种。(4) 为避免由于不精确预测带来的图像质量下降，若当前宏块编码后的峰值信噪比(PSNR)小于某一个阀值，则对该宏块进行全体模式搜索。实践表明，本文提出的快速算法编码时间比参考软件平均减少了58.17％，码率平均增加4.66％，PSNR值平均下降0.12dB，最大下降不超过0.19 dB。由此可见，本文提出的算法以微小的编码效率为代价将编码时间平均降低了一半以上，具有一定的实用价值。