多媒体技术在飞速发展，丰富的视频信息是人们获得信息的重要手段。但是巨大的数据量使得视频存储和传输非常困难，视频压缩算法成为解决这一问题的关键。H.264是由ISO/IEC运动图像专家组MPEG和ITU-T视频编码专家组VCEG联合制定的视频编码标准。该标准使用了可变宏块、多参考帧等技术，在同等图像质量下，其压缩率与H.263相比提高了一倍以上。但编码效率的提高是以增加计算复杂度为代价的，这严重的影响了其在实时编码方面的应用和推广。运动估计是视频压缩中的核心模块，它的效率的高低直接影响编码效率的高低。因此，高效、复杂度低并且容易实现的运动估计算法成为研究的热点。本文首先介绍了视频压缩编码的基本原理以及H.264/AVC的基本结构、关键技术，然后按运动估计算法的发展过程，对经典的块匹配算法进行研究，并给出了各自的优缺点。非对称十字型多层次六边形格点搜索算法（UMHexagonS）是H.264官方测试软件JM采用的整像素块运动估计算法，最后在深入分析研究该算法的基础上，对其进行了三方面的改进，它们分别是：初始搜索点（修改代价函数模板）改进、对称十字模板自适应、六边形和菱形模板修改等。在JM10.1模型下，C语言编程实现改进算法，并经过VS2008编译，得到仿真结果。通过对5种不同运动特点的序列进行测试表明：改进后的算法与原算法相比（10参考帧），在峰值信噪比（PSNR）和码率（Bit Rate）接近的情况下，运动估计时间平均降低了19.02%，最高达28.2%，编码时间平均减少13.36%，最高达20.9%，降低了算法的复杂度，提高了编码器的实时性。