作为计算机视觉、图形学以及多媒体技术的一种融合,三维视频技术正在快速发展并被广泛应用。不同于传统的计算机图形学技术,三维视频提供给人们的三维视觉体验是基于采集到真实世界的视频信号,并通过视角合成和渲染等技术达到的。近几年,随着传感器技术等相关领域的发展,三维视频处理技术得到了快速的发展,越来越多的视频渲染方法被设计出来以提高三维视觉体验。本论文针对基于图像渲染框架的三维视频、深度信息的处理、压缩和渲染等问题做出了相关研究。由于深度信息被广泛应用于三维视频渲染中,越来越多深度传感器被设计出来以更低的成本和更高的精度来采集深度信息。Kinect作为一种低成本深度传感器便被广泛应用于三维视频渲染中。因此,本论文首先提出了一种Kinect深度信息的修复算法,修复Kinect深度图像中缺失的信息,抑制图像中的失真和噪声,提高Kinect深度图像的质量,进而提高相应后续处理的性能。在许多应用场景中,深度信息和纹理信息需要传输到远端进行处理,如何提高深度信息的压缩性能,直接影响着整个系统的性能。本论文针对Kinect深度信息特殊的数据性质,设计了一个Kinect深度视频压缩算法来有效的进行数据压缩。我们首先设计了自适应的双边滤波器来去除Kinect深度图像中的噪声,修复因为噪声而被破坏的数据相关性。在传统的视频编码之前,我们引入2D+T预测模块来去除数据在时间域上的冗余。我们利用生成的三维物体表面参考图像来区分动态区域和静态区域。其中动态区域利用传统编码器进行压缩,而静态区域则跳过压缩,在解码端利用三维参考平面恢复重建。考虑到高动态深度信息正在替代传统的8比特深度信息,被广泛的应用于许多三维视频处理中,在本论文中,我们针对高动态范围的深度图像和视频设计了一种基于分层的编码压缩算法。在该算法中,高动态范围的深度图像在位深度平面上被分为高数据位层和低数据位层。其中,高数据位层深度图像代表了深度信息的大致变化规律,具有突出的边缘,因此,我们设计了像素域的编码方法来压缩本层信息。低数据位层深度图像包含深度信息的细微变化,我们利用传统的基于变换的压缩算法来进行压缩。低层数据的动态范围保证在8比特内,现有的图像和视频编码器均可被集成进来。作为三维视频的一种流行方式,任意视角视频被广泛的使用。人们希望在移动终端上观看三维视频。但是,由于实时传输和渲染多路纹理视频和深度视频对于带宽和计算资源的要求是无线信道和移动设备所无法承受的。因此,为了实现在移动端观看三维视频,我们提出了基于云计算框架的移动端任意视角视频渲染框架。在该框架中,我们根据用户的请求,在云端合成新视角的视频,并传输到移动端。为了降低系统的交互延时,提高视频质量,我们提出了渲染分配和码率分配算法来进一步优化用户的观看体验。