H.264/AVC标准具有抗误码能力良好、编码效率高等优点。但由于H.264/AVC的优良特性是以巨大运算量为代价,从而限制了实际应用。帧内预测是H.264/AVC的关键技术之一,通过全搜索算法遍历搜索从而选定最佳预测模式,该算法可使精度最高,但总共需4X(16X9+4)=592次代价值计算,极大增加了编码复杂度。本文针对H.264/AVC全搜索算法高复杂度的问题,提出了一种快速模式选择算法,降低了帧内预测的编码复杂度。首先,阐述了H.264/AVC的编码框架,重点对帧内预测技术进行了介绍。然后,对传统帧内预测技术中采用的全搜索算法进行了仿真实验,分析了该算法的复杂度以及可优化的方面。接着基于低复杂度的需求,提出了本文的快速模式选择算法,通过MAD阈值法对Intra4X4和Intra16X16模式进行预判,剔除部分预测模式,减少了搜索次数。该算法对原始MAD公式进行了拆分,优化后的MAD公式可进一步得到4X4子块的平滑度,提高了宏块阈值估计精度;同时根据预测模式的频率特性进一步减少了Intra4X4模式的搜索次数,使算法复杂度大大降低。最后,在JM8.6编码模型平台下,选取3组视频序列作为测试样本,对全搜索算法和快速模式选择算法进行了仿真对比分析。由实验结论可知,优化后的算法相较于全搜索算法信噪比平均下降仅为0.23%,码率上升约2.64%,编码时间减少约35.04%。在图片质量和码率变化不大的情况下,大大降低了编码时间,因此改进后的算法在减少帧内预测编码复杂度方面具备有效性。同时本文基于iTOP-4412开发板的硬件资源,搭建一套Linux软件开发环境。在该软硬件平台下,基于本文提出的优化算法设计了一款视频编码系统,实现了降低视频编码复杂度的效果。