作为最新一代的视频编码标准,H.266/通用视频编码（Versatile Video Coding,VVC）采用嵌套多类树的四叉树（Quad Tree with nested Multi-type Tree,QTMT）划分结构,并将帧内模式数量由35个扩展到67个。这些编码工具赋予了H.266/VVC更好的压缩性能,同时显著增加了计算复杂度。为进一步提高帧内编码的效率,本文针对快速编码单元（Coding Unit,CU）划分决策算法和快速帧内模式决策算法分别进行了研究,主要工作如下:（1）针对基于传统图像特征CU划分算法性能不平衡的问题,本文提出了一种基于纹理的快速CU划分决策算法。首先,根据相邻参考块的划分深度终止或跳过部分非必要的划分类型。其次,纹理的单调性被用于决策QT划分。最后,采用优化的Canny算子更加精确的提取边缘特征,为跳过无前途的划分方向提供依据。实验结果表明,该算法平均节约了51.14%的编码时间,而Bj?ntegaard Delta Bit Rate（BDBR）平均增长1.33%。（2）针对基于传统图像特征的快速算法面临的压缩效率瓶颈,本文提出了一种基于感知质量的快速CU划分决策算法。首先,将颜色复杂度作为控制因子改进恰可察觉差（Just Noticeable Distortion,JND）对比度掩蔽模型,以更符合视觉感知特性的方式进一步去除视觉冗余。其次,设计了基于运动状态的视觉显著性模型,根据运动状态为区域合理分配比特以提高主观质量。最后,将上述模型与纹理特征共同构建决策树（Decision Tree,DT）,进一步降低整体计算复杂度。实验结果表明,该算法平均节省了48.71%的编码时间,BDBR平均增长0.80%。（3）针对帧内模式决策效率低下的问题,本文提出了一种基于有限BFGS（Limited-Broyden-Fletcher-Goldfarb-Shanno,L-BFGS）的快速帧内模式决策算法。首先,根据纹理方向分类角度模式。其次,纹理复杂度被用于确定当前区域的主要及次要纹理（若存在）方向,大幅降低粗糙模式决策（Rough Mode Decision,RMD）的执行率。最后,L-BFGS在纹理方向上自适应地搜索一个最低率失真代价（Rate Distortion-cost,RD-cost）的角度模式,降低率失真优化（Rate Distortion Optimization,RDO）的执行率。实验结果表明,该算法平均节约了26.18%的编码时间,BDBR平均增长0.42%。