随着多媒体和计算机网络技术的发展,数字视频编码在许多领域中得到了广泛的应用,包括可视电话、视频会议、IPTV和数字电视等。为了满足不断发展的应用需求,近几年来,许多国际标准组织相继制定发布了一系列新的视频编码标准。其中以H.264、AVS为代表的编码标准,由于具有比以往标准更出色的性能,被人们称为新一代视频编码标准,它们是目前的研究热点。本文研究的内容是新一代视频编码标准(H.264、AVS)关键算法的研究与优化,主要从变换编码、预测编码、分级编码等方面进行算法研究和原理上的优化,以及将编码算法移植到DSP平台上进行的算法代码级优化。在变换编码方面:提出了一种n阶整数DCT变换基的通用生成算法。通过对DCT变换原理的研究,发现了变换基系数取值个数与阶数的关系,并结合余弦函数的性质对其进行了证明。以此为基础,提出了一种n阶整数DCT变换基(n=2~k,k＞0)的通用生成算法(本算法无需对相应的浮点基进行具体分析)。通过巧妙排列系数的序号使得生成的中间多项式具有极强的规律性,最后设计了一个N位M进制数来实现N重循环用以穷举所有可能解,成功对任意N元多项式组进行了求解。实验结果表明,只要计算机的能力足够强大,应用此算法便可以发现任意n×n(n=2~k,k＞0)整数DCT变换的所有可用基。在预测编码方面:首先分析了预测编码中帧内预测和帧间预测的流程,找出其中可能的改进优化点。通过在阅读大量文献和实践的基础上,对帧间预测和帧内预测模块都广泛适用的全零块阈值问题进行了深入的研究。利用数学和统计相结合的方法分析出了目前利用全零块进行提前终止时的阈值的不足,进而提出了基于量化参数的全零块检测算法,并建立了不同代价函数和不同块划分模式下所对应的全零块阈值模型。与Yang的算法进行比较分析得出:当量化参数较低时,计算性能有稍微下降,但PSNR有0.05db左右的提高;当量化参数较高时,在计算性能提高10%-18%的同时,PSNR也提高大约0.04db。对帧内预测部分,我们依据最可能的模式和最佳模式之间的相关性获得一个最可能模式与最佳模式矩阵。在帧内预测模式判决时,结合全零块提前终止算法,利用得出的这个模式矩阵来遍历各模式在无任何PSNR下降的前提下可以节省9%-15%的计算周期;如果使用精简模式矩阵,则在PSNR下降大约0.03db的情况下可以获得33%-48%左右的计算性能提升。在分级编码方面:提出了一种按频谱进行视频分级编码的方法。MPEG-2中的数据分割就是一种最早的频谱分级编码,但其分级粒度较大,实用性不高,本文的算法能实现较细粒度的分级(9级)。按频谱进行分级的编码方法具有比较灵活的分级性、计算复杂度低且编码效率较高,但在帧间预测时存在严重的误差积累问题,因为只传输部分频段上的DCT系数,会引起解码器的参考图像与编码器的参考图像的不一致,从而造成误差积累。本文通过设置变换域的参考图像,很好地解决了这一问题。AVS-P2是我国具有知识产权的新一代视频压缩编码标准,并已经通过审批成为国家标准。本文将提出的分级编码算法与AVS-P2相结合,在AVS-P2编解码的框架下,实现本文提出的基于DCT频谱分级编码算法。最终,在AVS-P2的软件编解码模型rm52j版本的基础上,实现了本文的算法,并给出了实验的结果。在算法代码级优化方面:我们成功的将AVS编码算法移植到基于达芬奇(DaVinci)技术的TMS320DM6446平台上;并对编码算法进行项目级优化、Cache性能优化、数据传输优化(EDMA)、线性汇编优化等一系列优化技术,在每一个阶段给出相关的性能测试。本文优化的最终结果,算法的性能在没有损失图像质量的前提下把帧率从最初移植后的3.8fps提高到了93.6fps,达到CIF实时。