随着计算技术、通信技术和多媒体技术等的迅猛发展,多媒体应用已深入到人们生活的方方面面。视频是多媒体中信息量最大、最常用的媒体；然而,由于视频数据量巨大,不经过编码压缩的视频无法在互联网中传输。视频编码压缩技术是视频存储、传输、播放等环节的前提,是数字电视、视频监控、网络视频等应用的核心技术。视频编码技术标准是数字音视频产业的共性基础标准,为视频压缩提供了统一的技术规范和码流格式,对整个消费类电子产业的发展至关重要。其中,最新一代视频编码标准——高性能视频编码(High Efficiency Video Coding, HEVC)标准,已于2013年1月正式颁布。率失真优化技术是视频编码中的关键技术之一,其基于Shannon率失真编码理论,通过在视频编码的比特消耗和编码失真之间取得折中,以期花费尽量少的比特、获得尽量高的视频质量、达到率失真性能最优的目的。本论文重点研究率失真编码理论在视频编码技术中的应用；论文针对最新视频编码国际标准HEVC,采用率失真优化技术,从提升视频编码效率和精确进行码率控制两个方面开展了深入研究。论文主要创新及贡献如下：(1)本文提出了基于率失真优化准则的参考图片管理方法。本文经过分析,将参考图片管理问题建模成率失真优化问题,并基于合理的假设和简化,推导出此优化问题的最优解。在获得最优的参考图片管理方式后,本文基于率失真优化准则推导出了图片质量调整方法,用于进一步提升编码性能。此外,本文还开发了参考图片管理的快速算法,适用于对编码复杂度和延时有不同要求的应用场景。本文提出的参考图片管理的部分方法已被最新视频编码国际标准HEVC接受,并被集成到HEVC参考软件中。(2)本文提出了基于率失真优化准则的量化参数QP修正方法。为克服多QP优化导致编码复杂度过高的缺点,本文通过对大量实验数据的统计分析,得出了编码的最优QP值与率失真优化过程中使用的拉格朗日乘子之间的关系,并基于此关系,提出了基于率失真优化准则的QP修正方法。所提方法可在不增加编码复杂度的情况下,达到与5QP优化(5QP优化会额外增加大约4倍编码复杂度)相近的编码性能。本文提出的基于率失真优化准则的QP修正方法己被最新视频编码国际标准HEVC接受,并被集成到HEVC参考软件中。(3)本文提出了基于率失真优化准则的λ域码率控制方法。本文分析了HEVC中使用传统的R-Q (Rate-Quantization)模型码率控制方法存在的问题,基于率失真编码理论分析,建立了可以精确刻画率失真关系的R-λ模型,并提出了基于R-λ模型的λ域码率控制方法。本文将提出的λ域码率控制方法成功应用于最新视频编码标准HEVC,与传统的基于R-Q模型的Q域码率控制方法相比,本文提出的λ域码率控制方法不仅可以提高码率控制精确性和编码性能,亦可大幅提高瞬时码率的精确性。本文提出的基于率失真优化准则的λ域码率控制方法已被最新视频编码国际标准HEVC接受,并被集成到HEVC参考软件中。