H.264/AVC(Advanced Video Coding,AVC)是由国际电信联盟和国际标准化组织共同制定的新一代视频压缩编码标准,与其他编码标准相比,它具有更好的压缩性能和网络适应性,因此在视频通信和视频存储播放领域都得到了广泛应用。但是在获得高效的压缩性能的同时,它引入了很高的计算复杂度,而高计算复杂度势必给系统带来高的时延和巨大的功耗,不能满足当前实时系统的要求,因此,如何降低H.264算法的复杂度,减小编码时间,满足实际应用成为H.264研究的重要课题。通过对H.264/AVC编码中关键技术的研究及其算法复杂度的分析,论文针对帧间预测模式选择算法和帧内预测模式选择算法进行优化,采用JM8.6作为参考模型,优化对应的编码程序,并在Visual studio6.0上调试,主要做了以下方面的研究工作:①论文首先介绍了H.264/AVC编码原理和参考模型JM8.6中帧内模式选择算法流程,指出模式选择过程所面临的复杂度问题,然后从不同角度对当前存在的各种帧内模式选择算法进行比较,最后对帧内模式选择算法进行了优化。改进算法将边缘分为5类,通过对块进行子块的划分并结合5类边缘滤波矩阵计算得到块的主要边缘强度,根据它的主要边缘强度选择相应的预测模式,同时结合相邻的预测模式组成最可能预测模式集合,在预测模式集合内利用率失真代价函数获得块的最终编码模式。仿真结果表明:该算法在图像质量变化很小的情况下有效的降低了传统算法的复杂度,减少了编码时间。②通过研究H.264/AVC帧间预测编码原理和帧间块划分模式选择算法的流程,指出帧间块划分模式选择算法计算量大的问题,并对现阶段帧间块划分模式选择快速算法进行改进。改进算法赋予skip模式最高的优先级别,首先对skip模式进行判断,然后根据块本身的特征来决定是否在帧间预测中进行帧内预测,最后通过宏块的绝对帧差及其绝对帧差和的平均值之间的关系,判断当前宏块类型,针对宏块的类型选择合适的帧间块划分方式。通过实验验证,该算法与传统的帧间全搜索算法相比,降低了算法的复杂度,同时在保持峰值信噪比和比特率基本不变的情况下,大大节约了编码时间。