传统的混合视频编码框架立足于经典的率失真理论,利用视频流的时间冗余、空间冗余和码字冗余压缩信息。H.264/AVC的提出是一个里程碑,其高效的编码效率将混合编码框架的优势发挥到了极致。但是,混合编码框架并没有深入研究人眼视觉系统对视频信号的理解机理,因此不可能充分地压缩视觉冗余。如果能够使编码器模拟人眼的行为首先对视频内容进行分析,再有选择地编码,这将极大地改变现有编码器的设计思路并且有效提高编码效率。本文在现有恰可观测模型(JND模型)及H.264视频编码标准基础上,重点研究基于运动因子的JND模型并将JND模型结合率失真理论用于H.264视频编码器。首先,针对现有基于DCT域的JND模型,通过分析该模型仅考虑对比敏感度,背景亮度,基于分块的屏蔽效应等静态图像因素,本文提出基于运动因子的动态JND模型。结合快速运动检测算法中所产生的运动比例因子,修正并改进了现有JND模型中运动检测算法计算复杂运动量大的缺点,修正现有JND模型。其次,针对目前H.264中编码控制算法中应用的拉格朗日优化技术,本文结合人眼视觉特性,通过大量实验对率失真模型进行改进。同时,提出基于JND模型的失真判决算法。根据每一帧中宏块的视觉权重,结合JND模型,修正率失真公式。并提出基于JND模型的快速模式判决算法。实验证明,本论文所提算法能够准确监测运动物体,修正JND模型。并且能很好的与现有视频编码技术结合在主观质量及编码速度上都有较好的表现。