在图像与视频处理领域，图像/视频缩放非常重要。特别是，当需要在具有不同显示分辨率的显示终端上显示相同的一幅图像时，需要进行缩放操作。图像缩放就是指根据特定应用的需要，对一幅图像的分辨率进行自适应的调整，得到的结果图像具有不同的分辨率大小，但是具有相同的内容。实际上，图像缩放是一些流行的图像编辑软件工具的标准功能。然而，传统的图像缩放技术通过按照比例一致地缩放一幅图像到它的目标大小。比例缩放与剪切是两种常见的图像与视频缩放技术。比例缩放对于整幅图像采用一致的采样比例改变。它可以保留图像中所有的可见元素，但是它宽高比改变时，它会引起严重的几何失真。而且，它可能因为过多地收缩一幅图像而导致观察者看不到图像的细节。另一方面，剪切则去除图像边界区域，而保留一幅图像中的主要内容。显然，当在图像中的对角方向都有重要的目标物体时，它不能够很好地保护它们。近些年，内容感知的图像缩放得到了持续的关注。它寻求在改变图像大小（指分辨率，下同）的同时，保持图像重要内容的完整性。线雕刻(Seam Carving)是最近几年由Avidan和Shamir最早提出的的一种图像操作符(operator)。它能够很好地在图像的不同位置删除或者添加像素，实现图像大小的改变，是迄今为止的已有图像缩放技术中最为成功的一种。它的关键思想在于:根据能量函数，通过去除那些混合在周围像素中，而不容易引起注意的像素。数字视频也存在类似的需求，即需要被缩放，以适应显示在不同的终端，包括电视、计算机、蜂窝电话等。显然，把图像SeamCarving技术扩展到视频缩放的一种最直接的方式是把每个视频帧视为一幅静止图像，并且独立地进行缩放。　　Seam Carving定义了一种能量函数，以反映图像中像素的重要性。Seam是一幅图像中具有低能量的像素所组成的从上至下，或者从左至右的连通路径。Seam Carving可以支持多种不同类型的能量函数，例如梯度幅度、熵、视觉关注度、眼睛眨动，或者其他的定义。Seam位置的计算实质上是从图像的一端寻找到另一端的最有最小代价的路径。这可以通过动态规划的方式实现。动态规划通过存储子过程的计算结果，以简化计算更为复杂的结果。因此，在Seam的计算中，采用了动态规划技术。通过迭代地去除或者插入Seams，可以在水平或者垂直方向缩小或者放大图像的大小。删除或者插入的过程是无参数的。然而，为了方便交互式的控制，也可以提供一种基于scribble的接口，通过调节图像不同部分能量的权重，并且引导出最终的结果。然而，它有时候可能会失去对图像中重要目标的保护。也就是，它不能够在于重要区域的保护与整体概貌的保持之间进行有效的平衡，甚至可能出现结构失真。　　一种好的图像/视频缩放方法应该能够在不损害整体概貌的前提下，保护重要的内容，以一种“智能”的方式进行。因此，本论文针对Avidan和Shamir提出的图像SeamCarving技术进行改进。改进的方向是:一是通过引入人机交互，方便用户使用;二是减少可能存在的失真，改善视觉质量;三是将图像Seam Carving扩展到视频缩放，并且绽放过程中结合数字视频的特点。具体地，本文的主要工作与创新点如下:　　第一，结合原始的Seam Carving方法与GrowCut图像分割，提出了一种交互式的图像Seam Carving方法。首先，输入图像进行GrowCut处理，在感兴趣区域（对象）内部与外部标记轮廓线，从而自动地区选择整个对象。然后，对进行了对象标注后的图像进行Seam Carving缩放。显然，GrowCut被用于选择需要保留或者去除的对象。原因在于:GrowCut作为一种交互式的分割算法，可以作为对图像进行交互式多标记分割的新工具。GrowCut算法使用细胞自动机作为图像模型，把像素标记过程视为细菌生长过程。细菌从种子像素点开始生长，并且试图占据整幅图像，这就是所谓的GrowCut方法。本文之所以把GrowCut方法与Seam Carving方法相结合，就是因为它可以解决对象分割的困难，能够对任意维的图像进行多标记的图像分割，且允许构造新的分割算法。通过交互，用户可以观察“进化”的过程，并且可以在线(online)修正分割结果。该算法具有简单、易于理解和实现的特点，并且由于采用了细胞自动机，便于并行实现。在人机交互上，本方法的用户接口直观，方便使用，这是因为用户只需要在目标的内部和外部标记一些轮廓点，感兴趣（需要保护或者去除）的目标对象是自动地选择的。实验结果说明，把Growcut与Seam Carving相结合，感兴趣的区域可以通过采用新的能量函数对图像能量函数进行更新，从而保护或者去除它们。该机制保证了检测到的seams是优化的。基于对象的操作是指在图像中保护或者去除目标对象的过程。对于对象去除，通常包括两个步骤:选择对象和去除对象。在第一步中，对象去除通常是通过填补对象所在区域实现的，而在本文中它是通过使用GrowCut方法实现的。它不需要填补整个对象，而只需要简单地选择对象，因为GrowCut算法可以把像素标记过程视为细菌的增长过程，从种子像素开始直至占据整个感兴趣区域。本文提出的方法以保护一幅图像中的重要对象。并且，它的选择过程是自动的，更为高效。　　下面对“交互式区域增长”与GrowCut进行简单比较:区域增长是一种经典的图像分割方法，用户可以通过在感兴趣的对象内部选择一些种子像素点，从而选择整个像素区域。该方法的基本思路是从单一的种子像素开始，通过添加邻域像素增长区域，需要满足的条件是周围的像素强度与区域像素的平均强度差小于某一固定的阀值。比较结果显示，GrowCut更适合于从图像中选择目标，原因在于它具有更好的交互性，允许用户方便和直观地进行对象修正，从而可以保证得到更为平滑的对象边缘。在区域增长过程中，它的主要问题是当增长的区域通过弱边缘时，可能导致缺损。因此，GrowCut可以满足图像缩放过程中用户控制的要求，从而更好地去除或者保持对象。因此，我们采用GrowCut方法与Seam Carving结合。　　第二，将Seam Carving方法与目标检测方法结合，提出了一种图像/视频缩放方法。该算法的基本思路是通过目标检测的方法，自动地得到需要保护或者去除的目标，从而避免人机交互的过程。为了得到更为准确的目标检测结果，本文提出的方法结合了视频镜头分割与高斯混合模型。　　镜头检测是一个有效的视频摘要方法，被用来从输入的视频中提取一些关键帧。在视频中，包括三种类型的帧:I帧，P帧和B帧。因为视频中包含了很多冗余信息，为了实现快速检索，需要通过视频摘要减少视频中的重复信息，而视频摘要中从视频源中生成的或者提取的少量显著图像集。视频摘要通常可以较高效率地完成，因为它通常只利用视觉信息，并且不需要处理音频和纹理信息。为了实现视频摘要，首要的步骤是把视频分解为更小的单元，称为镜头，然后，从每个镜头提取关键帧，代表紧凑的视频摘要。高斯混合模型被用于从关键帧中检测目标。高斯混合模型可以处理多模背景，被广泛应用于运动目标的检测。为每个像素建立模型，并且每帧进行更新。它有三个参数，逐像素逐帧进行更新。与帧差法以及其他的背景减方法相比，高斯混合模型更适合于目标检测，因为它对于复杂的背景具有适应性，能够得到更准确的对象轮廓。最后，图像能量通过选择“保护”或者“去除”按钮，进行自适应的调整。所有的这些步骤只一个关键帧执行一次，其他的关键帧通过对象跟踪完成。实验结果说明，把Seam Carving与对象检测结合起来，可以很好地保护重要的视频内容，并且避免失真。此外，它可以节省视频存储空间的要求。该方法在从因特网上下载的多组视频进行测试，包括不同类型的视频（背景简单的、背景复杂的、动态背景的），总共大约70000帧。对高斯混合模型与帧差法进行比较，结果显示高斯混合模型是在图像的每个像素上工作，而帧差法是对图像之间进行比较。因此，帧差法相对来说效率更高，但是检测到的对象精度低。因为高斯混合模型可以实现更好的分割精度，它被选择为目标检测的工具。使用本文提出的方法，优势在于:除了可以改善Seam Carving时图像和视频的视觉质量外，它还减少了对于视频存储空间的要求。此外，结合Seam Carving与对象检测，也可以进行交互式的图像缩放。通过结合结合Seam Carving与对象检测，目标对象（感兴趣区域）是通过高斯混合模型检测的。在对象检测后，可以很方便地通过新的能量映射引导Seam为优化的seam,从而选择要保留或者去除的目标。实验结果说明，通过结合结合Seam Carving与对象检测，可以很好地保持图像内容且避免失真，此外还可以节省图像存储的空间。该方法同样在从网络上下载的图像测试集上进行测试，共包括了大约300张不同类型的图像。我们同样将它们分为两种类型:简单背景，且只有一个目标的图像和复杂背景，或包含多个目标的图像。通过比较剪切法与本文提出的方法，可以观察到剪切法只能够保护一个感兴趣区域。如果一幅图像在相反的角落包含了两个感兴趣区域，它将失效。然而，本文的方法仍然能够保护所有的这些区域，因为它可以通过去除低能量线而改变图像的大小，而不需要失去任何重要的内容。通过比较对象去除与本文的方法，对象去除是通过修复所有的对象改变图像大小，而本文方法采用高斯混合模型进行对象检测，检测输入图像中的对象。比较第一个工作中提出的GrowCut结合Seam Carving的方法和本方法，在前面的方法里，对象检测是通过在对象内部和外部划线的方法选择的，但是在本方法中对象检测是自动完成的，无需勾划对象的大致位置。　　第三，同时结合Seam Carving与基于匹配区域的目标检测技术，提出了一种新的视频缩放方法。该方法是基于匹配区域的，时域能量的调整允许每个关键帧进行，去除优化的像素，从而实现空域和时域连续的缩放视频。同样，对象检测也是建立在高斯混合模型的基础上检测目标。在目标检测后，可以很方便地在关键帧中选择对象进行保留或者去除，并且在关键帧之间进行基于匹配区域的跟踪。因此，时域和空域的连续性都可以得到保证。镜头检测用于从输入的视频中提取关键帧。我们使用高斯混合模型方法从关键帧中检测目标对象。多种目标检测算法已经在系统中使用，使用最广泛的是高斯混合模型。在从关键帧中提取目标后，修改图像能量。我们使用该检测通过选择“保护”或者“去除”，以改变关键帧的能量图。对于目标保护，能量被设置为一个较高的值;对于目标去除，能量被设置为一个较低的值。这样，采用修改后的能量实现了对关键帧的Seam Carving缩放。　　如果当前关键帧是第一帧，我们跳过能量调整部分。否则，基于前面的Seam计算匹配区域，并且通过分配受奖像素（R-区域）和受罚像素（P-区域）调整能量映射图(EM)。实验结果说明，该技术可以容易地去除或者保护视频中的感兴趣区域，并且存储视频所需的空间显著减小。该方法在从网络上下载的大量视频上进行测试，包括多种不同类型的视频（简单背景、复杂背景和动态背景）大约70000帧。通过比较SeamCarving方法与本文的方法可以得到，通过本文的目标检测，可以选择目标，从而控制非感兴趣区域的Seam线去除或者保护视频中的重要目标。这是通过在关键帧之间进行区域匹配以及分配受奖像素（R-区域）和受罚像素（P-区域）来完成的。此外，比较文献中同类的基于匹配区域的方法(Yang Bo.etc)与本文方法，也可以发现本方法是对关键帧进行处理，从而可以节省视频缩放的时间。在视频压缩中，有三种类型的帧:I帧（关键帧），P帧和B帧。I帧是是完全指定帧，而P帧和B帧只包含部分图像信息。但是，在同类方法中，它是逐帧进行处理的。我们的方法则控制感兴趣区域，并且采用区域匹配技术，我们可以控制非感兴趣区域，而同类方法只能控制感兴趣区域。通过对采用区域匹配和不采用区域匹配方法（第二种方法）的比较，可以得到具有区域匹配的方法除了感兴趣区域外，能够得到其余区域的更好的Seams，而第二种方法只能够保护感兴趣区域。仿真与实验结果说明，前面所提到的四种方法都可以方便地去除或者保护图像与视频之中的感兴趣区域，最后一种方法还能够对非感兴趣区域进行处理。在进一步的研究中，我们将持续在图像与视频编码领域展开，特别是利用提出的感兴趣区域检测方法，发展和改善文献video condensation的结果。基本的思路是采用SeamCarving将图像分解为两个部分:关键/基础图像和Seams序列。这两部分单独进行了编码，并且合成为一个渐进(progressive)码流。根据显示设备的分辨率，只传输和解码必要的关键图像和Seams序列。有两种基本的思路:一是在编码阶段采用目标对象检测技术，二是使用本文提出的方法得到的需要大小的图像，并且在编码过程中作为输入图像或者关键帧。该方法拓展了文献video condensation的方法，对于视频同样适用。输入图像或者关键帧被划分为两部分，也就是关键图像和附加的seams。关键图像涵盖了感兴趣区域(ROI)，它是通过对象选择得到的，且不希望在图像缩放的过程中被修改。其余的Seams则方便在特定分辨率的范围内任意的缩放。在编码端，采用SPIHT方法编码关键图像，它是一种基于小波变换的高性能渐进式图像编码器。边信息(附加的Seams)包括Seams的位置和颜色，对它们进行编码。在解码端，取决于希望的重建图像的大小，所需要的Seams被解码并且添加到关键图像中。　　通过这种方式，可以只编码关键图像中的感兴趣区域和相对次重要的边信息。边信息的编码则包含在每条Seam的起始部分，用一位指示它是一条列或者行Seam。接着是 Seam的每个像素的信息，包括它的位置与颜色。需要指出的是，在解码阶段添加Seams的顺序是在编码器中提取Seams顺序的逆过程。因此，Seams必须按照逆顺序进行编码与传输。也就是，提取的最后一条seam是编码码流的第一条Seam。因此，只有当Seams的提取过程完成后，才能开始Seam的编码过程。通过该方法，可以提高图像和视频压缩的编码和解码过程。