自上世纪八十年代CCITT提出H.261标准草案以来，在计算机技术及多媒体技术的推动下，视频编码技术的发展日新月异。H.264/AVC标准草案提出于2003年，继承了以往视频编码标准的编解码器结构，并引入了许多先进的技术。多参考帧、多种宏块划分方式的帧间预测使预测更加准确，但却带来了额外的编码负荷。视频冗余大部分是帧间冗余，帧间预测占用了视频编码的大部分时间。因此，帧间编码技术有很高的研究价值。运动估计和帧间模式选择是帧间预测编码中两个主要部分。帧间预测编码的主要运算量来自运动估计，传统的运动估计算法难以使用较少的搜索点数来获取精确的运动矢量。遍历的帧间模式选择需要对每种帧间模式进行运动矢量搜索和匹配。H.264/AVC为帧间宏块提供了7种帧间预测模式，导致运动估计运算量大幅度增加。因此，本文针对H.264/AVC中的运动估计和帧间模式选择两个内容做了深入研究，并提出了相应的改进算法。UMHexagonS算法虽具有较高的搜索效率，但算法仍存在两个缺陷。其一，混合的搜索模板存在重复搜索；其二，非均匀的六边形格点模板对小运动块的搜索冗余较大。针对重复搜索的问题，设计了增强的大菱形模板代替中心5×5模板，并使用模板间的互补性和六边形模板搜索规律的分析，避免中心5×5遍历模板和六边形模板、六边形模板自身的重复搜索；为了减少小运动块的搜索冗余，在非均匀六边形格点搜索时，设计了提前终止策略。这种提前终止策略仅与搜索过程有关，而与宏块时空相关性无关。实验结果表明，改进算法与原算法图像重建质量相同，Y分量峰值信噪比和输出码流码率基本不变，运动估计搜索点数却明显减少，运动估计时间有效缩短。改进算法有效提升了编码效率，且在纹理复杂、运动剧烈视频序列中，效果更加明显。依据8×8块运动矢量同质性分析，设计了一种帧间宏块模式的快速选择算法。算法以8×8块运动矢量同质性判决因子为依据，直接选择宏块模式。为了精确获取8×8块的运动矢量，深入分析了模式间运动估计过程的相关性，如块匹配相关、搜索窗相关以及UMHexagonS算法粗定位模板搜索点相关。依据这些相关，设计了一种在16×16块搜索时，对8×8块运动矢量并行定位的运动矢量定位算法。定位算法不仅可以精确定位8×8块最优运动矢量所处区域，还可节约原算法对8×8块运动矢量粗定位模板的搜索时间。此外，提出了下层预测的概念。针对8×8模式的上层模式(模式2和模式3)，如果其中一种模式的运动矢量同质性判决因子最小，则选择该模式作为最优模式，并使用下层预测矢量预测选定模式运动矢量，跳过选定模式粗定位模板搜索点。实验结果验证了基于8×8块运动矢量同质性分析的模式选择准确性、模式间相关运动矢量定位的准确性，以及基于UMHexagonS的帧间模式快速选择算法的高效性。