H.264/AVC是国际电信联盟ITU-T的视频编码专家组VCEG和国际标准化组织ISO/IEC的活动图像专家组MPEG联合制定的视频编码新标准。相对于之前的各类视频编码标准,H.264在压缩率、图像质量、鲁棒性等方面都有着无可比拟的优势,但H.264的高效性是建立在其实现的高复杂度基础上的。DM642是新一代高性能数字媒体处理器,它降低了视频应用系统开发成本。因此,DM642是目前实现视频应用系统的理想平台之一。本文首先简要介绍H.264视频编码标准,在此基础之上,对其参考模型X264进行运算复杂度分析,指出了需要进行优化的模式选择和运动估计两个核心模块。然后,再利用全零块检测技术,改进了全零块提前终止原则的应用策略。在此基础上,对X264参考模型中的帧内预测模式选择算法、帧间预测模式选择算法和运动估计算法进行优化。在帧内模式选择中,充分利用了帧内各种预测模式之间的关系,大大减少了帧内预测模式选择的范围;在帧间预测模式选择中,简化了P帧中的帧内预测模式种类,提出了一种新的SKIP模式提前预判算法和大模式优先原则;在运动估计模块中,根据时空域预测运动矢量的强相关性,提出准运动矢量的概念,并进一步对搜索模板进行优化,提出了基于矢量统计的多模板快速运动估计算法。最后,结合DM642嵌入式系统的功能特性,将X264参考模型移植到DM642上,并对X264编码器结构进行优化;根据DM642强大的指令系统,对移植后的软件代码进行优化;充分利用DM642的三级存储结构,对DM642上的存储空间管理和数据传输策略进行优化。最终,达到了较好的优化效果。