H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图象编码专家组)的联合视频组(JVT:joint video team)开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是工SO/IEC的MPEG-4的第10部分。与之前的压缩标准相比，新一代标准H.264可以得到更好的压缩图象效果、拥有更多的功能和更大的灵活性，但是，由于H.264编码标准引入了大量复杂度较高的编码算法，因此深入研究H.264快速编码算法有着重要的实际应用价值。运动估计是视频编码器中最重要的模块，其算法直接影响到编码的性能与速度。为了提高编码性能及压缩率，H.264引入了7种宏模块划分模式，并提出了1/4像素运动估计，这进一步增大了编码的运算量，本文的工作主要是着重于对H.264的块模式选择算法进行优化。本文的研究内容如下： [1]对H.264标准的设计特点和编码过程进行较为详尽的分析，重点对帧间预测和帧内预测进行研究，作为块模式选择算法研究的基础。 [2]设计与实现基于MATLAB的H.264编码器数据处理系统，该系统能够用于直观的比较两个不同的编码算法产生的各类数据，包括运动矢量、块模式划分、信噪比、编码比特率、编码时间等，为块模式选择算法优化提供了有效的数据分析工具。 [3]对现有的块模式选择算法进行了深入研究，以此为基础提出了改进的基于Sobel算子的块模式选择算法，实验结果表明与基于Sobel算子的算法相比，新算法编码时间平均下降16％，PSNR下降最大仅0.02dB，比特率增加不超过2％。 [4]深入研究了运动矢量历史、相邻宏模块的运动矢量相关强度和运动矢量与14MB等模式的关系，并以此为基础提出了一种新的基于运动矢量的快速块模式选择算法，与JM8.3参考软件相比，新算法在PSNR下降最大仅0.08dB，比特数增加不超过1％的情况下，编码时间下降14％-6796。 [5]对率失真优化进行研究，提出了简化率失真优化的思想。