H.264/AVC作为当今世界上主流的视频编码标准具有码流压缩率高、峰值信噪比高，观众主观评价优等特点。可是，H.264/AVC标准由于引入多种先进技术，大幅度增加编码程序计算复杂度，在硬件资源不足、计算能力有限的嵌入式环境中无法完成实时的编解码，导致H.264/AVC编解码标准在便携式应用领域受到高度限制。X264编码器是当前市场上热门的开源编码器，具有编码速度快、视频质量高等优点，可是实验证明即使X264有着这样的特点，仍然无法在嵌入式环境中完成QCIF级实时编码。本文通过详细分析H.264编码标准和各个模块的工作原理，研究X264编码器代码，成功在ARM平台上实现X264编码器的移植，并通过C语言级优化和汇编级优化技术对其进行优化，H.264码流的编码速度较优化前提升80%。本文同时重点研究如何减少H.264/AVC编码标准中帧内预测模块的计算复杂度，根据视频标准中帧内预测模块算法的相关特点，提出一种针对帧内预测4×4亮度块的快速模式选择算法，该算法利用亮度块SATD值与RDO技术间的相关性，同时考虑SATD值在相邻预测方向上具有连续性关系，优化原有算法。实验结果表明，本算法能在基本不影响图像原有质量的情况下，减少40%H.264码流序列编码所需时间。