H.264是目前国际上新一代的主流视频压缩标准,与先前的标准相比,它采用了许多新的技术以提高编码效率,应用领域更加宽广。然而,高编码效率是以提高运算的复杂度为代价的,这严重影响了在实时领域的应用。DSP芯片以高运算速度和强大的运算能力著称,TMS320DM642是TI公司推出的一款高性能数字媒体可编程数字处理芯片,具有高强的计算能力,还集成了大量有利于数字媒体处理的外围设备,能够很好地实现H.264的编码压缩。本文的工作主要对H.264算法和基于DSP的程序优化两个方面进行的。在H.264算法方面,首先分析了帧内帧间模式的选择过程,并对一些现有的改进方案进行分析,然后根据编码模式采用的统计特性,提出一种基于宏块活跃度和模式优先级的模式选择算法。为了弥补在模式选择过程中可能造成的视频质量不足,提出了一种基于数学模型的1/8像素精度搜索的方法。在基于DSP优化方面,对程序进行两个层次的优化,第一:整体优化,即对编译选项和存储系统进行优化设计。第二:局部优化,结合DM642的硬件结构和H.264编码算法对C代码进行优化。经过算法改进和在DSP上的优化,编码器的性能得到了较大幅度的提高。通过实验结果分析,对模式选择算法进行改进后,在保证视频质量变化很小的情况下,编码时间比原来节约了至少30%,而在DSP平台上,优化后的编码器比优化前编码时间减少大约80%,较好的适应了实时领域的应用。