H.264/AVC标准是ITU-T VCEG和ISO/IEC MPEG联合制定的新一代视频编码标准，它采用了一系列新技术成果，主要包括：空间域内的多模式帧内预测、1/4像素精度运动估计、整数DCT变换量化、多参考帧运动补偿、自适应去块效应滤波等。H.264编码器所采用的新技术使用了大量复杂度极高的编码算法，直接导致其实现的高复杂性，因此如何提高编码质量以及降低计算复杂度成为研究热点。　　 本文总结视频压缩原理和视频压缩编码技术，详细阐述H.264标准的帧内预测、帧间预测、变换量化、熵编码和去块效应滤波器编码技术。在此基础上，本文重点对H.264/AVC帧内预测与帧间预测的模式选择算法进行研究。　　 在帧内预测模式中，对于图像宏块纹理比较平滑的区域，边界像素值非常相似，无需采用9种预测模式，对于图像纹理复杂的区域，H.264采用的算法编码效果不理想，本文提出自适应帧内预测模式算法。算法依据宏块边界像素的纹理复杂度把预测模式分为单预测模式与多重预测模式，单预测模式只选取DC模式，多重预测模式下采用H.264标准的9种预测模式以及9种加权平均预测模式；对于预测残差信息，本文应用方向变换与自适应系数扫描技术最大限度压缩残差信号；对采用的CAVLC 熵编码技术进行改进。　　 对于帧间预测模式，H.264参考软件JM8.6采用全搜索方式，提高了图像质量，但与MPEG-4相比，H.264 编码复杂度增加了10倍，而现有快速算法不能兼顾编码速度与编码质量，本文依据视频序列特征和预测模式之间相关性提出自适应帧间模式选择算法。算法针对SKIP模式的独立性及序列中该模式所占比重较大的情况，首先进行SKIP模式的判决方案，较快地确定SKIP模式的编码预测；然后根据宏块像素的边缘矢量幅值总和的范围，把宏块划分为同类宏块和非同类宏块，确定是否进一步划分宏块；最后结合存在少数帧内宏块的情况，依据平均比特率AR和平均边界误差ABE的关系，确定是否采用帧内编码模式。