随着多媒体通信技术的飞速发展和人们对多媒体信息需求的日益增长,传统的语音、传真等通信技术难以满足人们的日常需求。基于宽带网络的视频会议系统能够把音频、视频、文字等多种媒体信息突破时空的限制呈现给人们,给人们的日常工作和生活带来极大的便利。但是视频会议系统中的音视频特别是视频对网络带宽的要求较高,需要进行压缩处理。视频编码技术是视频会议系统的核心技术,因此研究视频编解码系统具有重要意义。H.264作为新一代视频压缩标准,而X264作为一款支持H.264标准的开源编码器,经过众多开发者的优化和维护,具有优异的编码性能和实用性,并广泛应用于视频文件压缩和第三方开源项目中。以X264编码系统搭建H.264实时视频编解码系统更加方便和高效。本文首先对X264开源编码器中编码调用、基本框架和码流的结构等进行分析,然后就H.264标准中对编码性能和实时应用相关的关键技术进行介绍,对H.264标准的X264开源项目的编码流程进行研究,并对其运动估计中的搜索算法进行研究与分析。综合上述的分析对整个编码系统提出优化方法并进行相关测试,同时根据实时传输的特点在X264的码率控制的基础上提出可变码率控制方案。最后,结合视频会议应用,将编解码器及其应用环境作为一个系统进行设计,并进行相关测试。在实现功能后嵌入CoolView视频会议系统中应用,在实际应用中取得了良好的效果。对X264编码器进行研究和优化后,也对与之配合进行解码的FFMPEG的H.264解码流程进行研究,并结合实时RTP传输对编码数据进行相应的处理。本文结合X264编码系统的码率控制的特点,在系统中添加对编码器量化参数进行动态调整的相关接口以实现可变码率控制功能,从而满足视频会议应用环境的需要。实验测试表明,经过优化后的编解码系统无论在前端视频设备接入、编解码性能、网络环境的实用性与稳定性都能够满足视频会议系统的低码率、高质量图像、低延迟的需求。本论文将实时视频编解码系统的研究与优化同视频会议系统的开发实践结合起来,从实际应用出发,满足实际应用的需要且解决实际问题,具有较高的使用价值。