近年来多媒体通信业务迅猛发展,视频图像作为主要的信息传播载体之一,在人们社会生活中的作用已越来越突出。新的应用永远追求更加清晰生动的图像和流畅逼真的视频。与此同时,电子消费市场上各种尺寸、分辨率的终端设备层出不穷,视频图像资源格式也日益多样化,各种信号源和显示设备之间迫切地需要不同视频图像的格式转换处理以满足播放显示的兼容性。视频图像上采样技术包括时域的帧率上转换和空间域的图像分辨率上采样两方面。通过信号处理技术提升视频帧率和图像分辨率,可以在不改变现有成像和信道传输系统的条件下,突破光学器件、网络带宽、存储容量等带来的限制。它不仅顺应了人们对视频图像质量日渐提高的需求,也为计算机视觉处理提供了更多的图像信息,在网络通信、电视技术、安防监控、医疗诊断、遥感识别等诸多领域具有广阔的应用。该技术经过多年的发展,累积了大量的研究成果。尽管如此,由于现实场景中的运动错综复杂,而自然图像千变万化,现有算法仍存在许多问题有待解决；并且,在实际应用中需要兼顾算法的实时性、通用性和系统资源消耗等多方面的因素,很多经典算法的应用受到制约。为此,本文以智能终端设备的应用为背景,从时域和空域两方面着手,致力于研究高性能、低资源消耗的视频帧率上转换和图像上采样关键技术。本论文首先对视频插帧和图像插值及超分辨率技术的发展、研究现状和业界应用进行了详尽的综述,然后深入探讨了几种具体的算法,包括：基于块匹配运动估计的视频插帧、基于轮廓模板的图像插值算法以及基于局部自相似性的图像插值算法,它们分别代表了各自研究方向近年来出现的典型算法。在此基础上,论文完成了以下工作：1、在视频插帧方面,提出了基于三维递归搜索(3-D Recursive Search,3-D RS)多级运动估计的帧率上转换算法。该算法将3-D RS与双向运动估计算法相结合,在相邻的前后两帧中计算初始运动矢量,通过改进3-D RS减小了搜索计算量；并利用“由粗到细”的思想逐级搜索和平滑滤波来精确修正运动矢量场,提高了预测精度；最后利用时域线性插值补偿产生中间帧。该算法在不产生“重叠”与“空洞”的同时,提高了双向运动估计准确性和运动矢量一致性,有效减小了内插帧中的块效应,并且复杂度低、易于实现,可应用于高清视频的实时处理。2、将图像修补技术引入到视频插帧应用中,给出了一种带图像修补的运动补偿插帧方法。即使经过多级运动估计处理,仍可能存在少数块不能搜索到合适的匹配结果,本文中对这些块并不是进行生硬的内插以免产生块效应,而是利用图像修补技术进行修补。该算法在运动补偿时,先利用已有的运动矢量进行插值得到初始内插帧,同时对于运动估计失败区域标记生成修补掩膜；然后,按照掩膜对其中的空洞利用图像修补技术进行填充得到最终的内插帧。该算法的提出为运动补偿插帧中处理运动估计失败的块带来了新的解决思路,且易于实现。3、在图像上采样方面,提出了一种基于结构成分双向扩散的插值方法。该方法是一种融合了边缘自适应插值和双向扩散滤波增强处理的插值框架,能够改善边缘扩散问题,进一步提高插值图像清晰度。在边缘增强时,提出了耦合双向扩散滤波的改进模型,使边缘扩散程度能随边缘梯度自适应的调整,且梯度方向的像素值变化更加柔和；并且,为了使双向扩散滤波器更精确的作用于边缘轮廓,提出采用形态成分分析(Morphological Component Analysis, MCA)提取初始插值图像中的结构分量再实行滤波的策略,可减小反向扩散时纹理、噪声对边缘检测的影响,避免正向扩散对纹理细节的模糊。实验结果表明,该算法不仅有效提高图像锐度,且边缘光滑、过渡自然,避免产生边缘锯齿和过度的人工效应。4、给出了一种基于图像自相似性的视频图像上采样的改进算法。针对搜索相似块时的最匹配原则使得高频细节范例过度依赖于匹配结果的问题,提出了利用多个匹配块加窗聚集成图像高频成分估计的方法。同时,在匹配相似块时,采用钻石搜索来优化原始的全搜索法,以加快搜索过程。利用该算法图像上采样得到的结果在边缘和平坦区域均有较好的图像质量。