H.264标准是由国际电信联盟电信标准化组织(ITU-T)和国际标准化组织(ISO)联合制定的最新的视频编码国际标准。该标准相对以往的标准来说具有更高压缩效率和更好的网络适应能力,支持无线移动视频、数字视频广播及在线流媒体等多种应用,但同时算法复杂度的增加也限制了其在一些应用中的性能表现。因此,为了在不同平台和环境下有效使用H.264标准,根据需求改进其算法或优化其结构,具有重要的理论和实际意义。本文在上述背景下首先对H.264标准进行简要介绍,然后以率失真技术为主线,针对H.264帧内预测模式选择算法和码率控制算法进行研究,主要内容为:(1)详细阐述了率失真理论及其模型,并对拉格朗日乘子理论、虚拟参考解码器等进行了简要介绍。(2)针对H.264支持的帧内预测模式众多,全部进行率失真优化导致算法复杂度过高的问题,分析总结了现有的基于率失真优化的H.264帧内预测模式选择快速算法,并提出了一些改进思路。(3)深入研究了H.264标准的三层码率控制机制。针对标准算法中初始量化参数选择过于粗略的不足,通过定义I帧复杂度的度量标准,提出了一种根据I帧复杂度自适应选择初始量化参数的算法;为更好解决“鸡-蛋”悖论,提出了结合时空域MAD提高线性预测模型预测精度的改进算法。(4)在JM13.1参考平台上实现了本文提出的码率控制算法,并通过大量仿真与官方提案JVT-H017进行对比,证实了本文提出的优化算法能更精确的计算初始量化参数,相对于官方标准提供了更好的码率控制精度和率失真优化效果。