语义基编码是当前多媒体信息处理研究领域的一个热点,它突破信息论的理论框架,融合了计算机视觉、计算机图形学、统计学等多学科理论和技术,不仅在理论研究上具有较大挑战性,而且在技术实现上也有一定难度。人像序列是视频传输中常用的图像形式之一,本论文主要围绕人像视频序列语义基编码的若干关键技术问题展开研究,内容包括目标轮廓提取与跟踪、语义对象提取与跟踪、基于模型的运动估计和混合编码系统等。具体内容如下:1.目标轮廓精确提取与跟踪研究准确的目标轮廓提取和跟踪是基于内容描述的基础。由于在视频图像中,目标常常受到噪声干扰,有些目标还具有深度凹陷的边缘,这些都严重地影响了目标轮廓自动提取的准确性。目前,活动轮廓模型是目标轮廓提取常用的动态方法之一,而基于梯度矢量流的活动轮廓模型GVF Snakes(Gradient Vector Flow Snakes)是其改进型。尽管它克服了传统Snakes算法的缺陷,对具有凹陷边缘的目标能够有效地提取,但对于噪声和极度凹陷边缘的影响还比较敏感,常常会使部分活动曲线收敛到局部极值点处。遗传算法可以解决不具备诸如连续、可微等特性的函数优化问题,是一种全局最优搜索的有效方法。细粒度遗传算法(PGA-Parallel Genetic Algorithm)由于内在的并行机制,解决了遗传算法中各子种群的适应度计算和各子种群的新一代个体生成的并行性问题,极大地提高了算法的运算速度。因此,本文通过改进GVF Snakes梯度矢量流,并引入遗传优化搜索,提出了一种稳健的目标提取与跟踪算法:即对于收敛于局部极值处的轮廓控制点,利用细粒度遗传算法,将相邻的处于全局最优控制点的信息通过染色体遗传操作传递给这些点,并驱使它们向全局最优处运动。实验证明,该算法对受噪声干扰和具有凹陷边缘的目标轮廓提取不仅准确而且鲁棒。2.语义目标提取与跟踪研究目标分割是一个反问题,通常采用加约束的方法来获得合理的解。对于语义分割通常是在传统目标分割算法中,适当地引入如形状、结构等具有语义信息的先验知识来约束分割结果。头肩型视频是最常见的视频图像形式之一,其视频对象的主体是人的头肩部。在分析了不同姿态下头肩形状的几何特征基础上,论文对头肩轮廓形状进行分类,并定义了各类头肩形状模型;利用主成分分析(PCA-Principal Components Analysis)方法对各类头肩形状模型进行训练,并提取了形状模型的主分量,大大减小了形状矢量的冗余度和形状描述的复杂度。引入极大似然法判定目标轮廓形状所属形状类别,并利用相应主特征矢量合成最佳轮廓形状模板;然后,设计一个利用边缘、运动和曲率约束的离散变形模板算法来有效地提取和跟踪头肩部。对于静止的新闻图像由于缺少运动信息而使分割变得更加困难。本文还将形状模型引入到静止图像的头肩提取中,实现了轮廓约束的语义空间分割。3.基于线框模型的运动估计研究首先,介绍最常用的如预测最小二乘估计((PLS- Predictive Least Squares)和扩展卡尔曼滤波(EKF-Extended Kalman Filter)等三维运动估计算法,分析了它们对噪声数据比较敏感,对剧烈运动估计极易发散等缺陷。论文通过自适应参数修正和平滑滤波技术改进了扩展卡尔曼滤波算法,解决了EKF算法极易振荡和发散的问题,实现了精确、稳定地长序列运动估计。另外,还将自适应松弛迭代方法引入到运动估计中,一方面摆脱了上述算法中繁重的高维矩阵求逆运算所遇到的困难,保证了计算的收敛性;另一方面该算法程序简单、内存需要量小,适于在嵌入式系统中实现。4.混合视频编解码系统研究SPIHT小波编码尽管对图像具有较高的压缩比,但对于运动的视频序列常常要以丢失细节信息换取低码率,因此恢复的图像常常模糊。尽管模型基编码方法在甚低码率下能够合成具有较高主观质量的图像,但由于对于一般场景还很难用语义模型描述,而且对于运动视频场景,常常由于缺少必要的纹理信息而使合成图像质量有所下降,这些都制约了其广泛应用。论文提出了一种新的模型基辅助的混合视频编码系统方案,有机地将两者结合,并给出I、P、B帧速率控制、纹理补偿技术、局部表情剪切-粘贴和图像综合的实现方法。最后对该系统的编码性能及图像合成质量进行了仿真实验分析。