随着数字视频编码技术的不断发展和成熟，出现了大量视频编码应用方案。在众多的编码方案中，H.264是目前最有效的编解码标准。H.264/AVC标准充分考虑到现有的和未来的各种传输网应用，具有广泛的适用性，因此引起了业界的广泛关注。H.264标准规定了13种亮度块帧内预测模式以及7种不同尺寸的块模式，这在带来高效的压缩编码性能的同时，也带来了极大的运算量。针对这种情况，本课题做了大量的研究，力图降低其计算复杂度和提高运行效率。　　 本文介绍了视频编码技术的基本原理和视频压缩标准的发展及应用，对H.264标准中全搜索算法的复杂度进行深入分析。同时，对自适应调整预测，基于边缘方向直方图优化，提前终止等帧内模式选择方面的优化算法和快速帧间预测模式选择算法进行研究，并总结其优点及不足。　　 文中对压缩编码算法的优化方向进行分析，在对现有的优化思想进行研究的基础上，提出了新的模式选择优化方案。在帧间预测模式选择方面，通过对图像纹理信息的分析，根据宏块绝对误差平均值的统计特性来对背景区域进行判定，在背景区域和细节区域利用误差表面单调性进行宏块模式选择。在帧内预测模式选择方面，对各种预测模式的方向性进行分析，利用相邻模式之间的相关性，跳过一些小概率模式，从而降低模式选择的复杂度。此外，在进行帧内模式选择之前，引入“提前终止”判决，跳过了帧间编码时进行的不必要帧内预测。　　 文中以JM12-2参考模型为蓝本，进行了仿真实验，并对优化前后的编码时间、PSNR以及图像主观视觉质量进行了比较。实验结果表明，在采用新的模式选择算法后，运算复杂度大大降低，极大地减少了编码时间，而不影响图像视觉效果，有效地提高了视频压缩编码效率。