H.264是ITU-T(国际电信联盟)和ISO(国际标准化组织)共同制定的新一代视频编码标准。与前期的标准相比,H.264能够提供更好的图像质量、更低的码流,同时提高了网络适应性和抗误码能力,所以H.264已被广泛的应用于各种数字视频领域。然而, H.264编码性能的提升是以增加编码复杂性为代价的,要在实时环境中实现H.264编解码,既需要对H.264进行理论上的优化,又对实时处理芯片提出很大的要求,高性能DSP为实现H.264编解码提供了一个有效的平台。本文在研究H.264的编码过程、结构和关键技术的基础上,重点针对H.264帧内预测部分,提出一种基于相关性的帧内预测快速模式选择算法,然后将H.264开源代码X264移植到DM642中,并对代码进行了各种优化,最后设计一个基于DSP/BIOS的H.264编码系统框架。纵观全文,论文的工作集中在以下几个方面:第一,提出一种改进的帧内预测快速模式选择算法。针对H.264帧内预测模式选择算法的复杂性,根据相邻块间的相关性和不同预测模式间的相关性,提出一种快速模式选择算法,缩短了模式选择的时间,提高了帧内预测的编码速度。仿真实验结果表明改进算法在峰值信噪比略有降低,码率略有增加的情况下,可将编码时间降低50%。第二,将X264移植到DM642平台中。本文以SEED-VPM642为硬件平台,以DSP的集成开发环境CCS为软件平台,将X264移植到DM642中。根据硬件存储空间和CCS的特点,对存储空间做了适当的分配,对代码结构做适当的调整,使代码能在CCS中正确的运行。第三,对移植后的代码进行各种级别的优化。本文根据X264代码特点和DM642特有的指令结构,对整个代码进行了项目级优化、C语言优化,然后重点对帧内预测、整数DCT变换、量化和匹配误差等关键代码进行了线性汇编优化;此外还对Cache、数据搬移和DSP/BIOS进行了优化。实验证明,优化后X264的编码速度获得很大的提高。最后在前面工作的基础上,初步设计一个基于DSP /BIOS的H.264编码系统的框架,实现基本的视频采集、视频编码和视频传输功能。