随着信息时代的发展,高清晰度的视频越来越受人们的青睐,视频编码技术也显得日益重要。H.264/AVC是VCEG和MPEG两大国际组织联合推出的视频编码标准,也是目前最流行的视频标准之一。该标准吸收了以往视频标准的优点,同时引进了多种先进的编码技术,使得其编码效率比以往标准至少提高了一倍以上。然而与此同时,也带来了大量的复杂编码运算量。因此,针对H.264/AVC视频编码算法进行性能优化,在保证编码质量的前提下降低编码的复杂度具有重要的现实意义和应用价值。本文围绕H.264/AVC标准中DCT域的编码算法,主要做了以下内容的研究工作:(1)针对运动补偿后的残差块经过4×4整数离散余弦变换(DCT)及量化过程后出现大量的零值量化系数(ZQDCT)而导致的冗余计算问题,在分析提取出最佳全零块判决阈值的基础上,结合高斯分布模型和DCT系数能量“Z”形分布特性,提出了基于该新阈值的零值量化系数分级预判算法,在残差块DCT变换之前按分级模式预判出ZQDCT,从而跳过其变换量化操作。实验结果表明,与标准算法相比,该算法明显降低了编码数据量,同时减少了最高达42%的离散余弦变换(DCT)、量化(Q)、反量化(IQ)以及离散余弦反变换(IDCT)过程计算时间。(2)结合人类视觉系统特性,将基于DCT域的恰可察觉失真(JND)模型应用于H.264标准算法中。由于人眼是视频图像的最终接收者,其对于DCT系数中低频分量具有更大的敏感性,而高频部分可能含有较多的视觉冗余系数。JND表示人眼不能察觉的最大图像失真,反映了图像中不可感知的视觉冗余信息。算法根据不同的4×4 DCT变换块计算出相应的JND阈值,对每个变换后的DCT系数进行过滤,其中对应位置比JND阈值小的DCT系数直接舍弃,从而去除视频图像中存在的主观视觉冗余。同时对舍弃后相应的DCT系数跳过其量化等操作,节省运算量。实验仿真结果表明,该JND模型能节省编码码率,同时对视频图像质量并不影响,对视频编码中的视觉冗余优化取得了良好的效果。本文通过对H.264标准中的DCT变换与量化过程的研究,利用分级预判算法将ZQDCT系数进行提前预判并跳过其DCT部分的编码,节省了运算量;另外从人类视觉系统的角度,对DCT域的视觉冗余进行了分析并提出算法进行过滤相关冗余系数,优化了编码的视频图像质量。