随着信息技术的发展，网络传输速度的提高，视频技术已广泛应用于人们的生活中。为了满足人们对视频质量及传速速度的要求，国际两大视频组织（ITU-T和ISO/IEC）共同提出了一种最新的国际视频编码标准H.264/AVC，该标准压缩比高，网络亲和性好，被广泛应用于可视电话、远程监控、3G通信和视频存储等领域，是目前视频压缩编码研究领域的热点问题之一。与以往的视频编码标准相比，H.264在图像质量相同的情况下虽然可节省大约50%的码率，但其优越性能是以复杂度成倍增加为代价。高复杂度已成为H.264在实时视频编码及传输领域的瓶颈。因此，研究H.264视频编码算法与实现具有非常重要的意义。本文主要工作是对H.264中的关键编码算法进行研究，分析其编码复杂度，对其中高复杂度的编码模式选择算法进行优化。论文首先对H.264标准的发展进行阐述，具体分析H.264视频编码层的各个模块以及相应模块采取的一系列先进技术，例如变换编码、预测编码、熵编码和环路滤波等编码技术。其次详细分析H.264编码器的性能及其的算法复杂度，对其中的计算复杂度很高的算法—预测模式选择算法进行研究。为了解决预测模式选择计算量大的问题，本文利用相邻宏块编码模式相关性及图像纹理特征预先排除一部分预测模式，缩小了模式选择的范围，编码一个宏块时RDO的计算次数由原来的592次减少到272次。实验结果表明该算法在保持图像质量和比特率的前提下可以减少计算复杂度。最后论文对H.264编码算法的DSP实现问题进行探讨。通过对JM代码的分析，对PC windows操作系统下的baseline编码算法经过代码修改，转变成CCS中可编译运行的DSP程序；然后在CCS3.3环境下对H.264的编码算法进行软仿真，对实现过程中常出现问题提出解决方案。