随着计算机和通信技术的迅速发展,三维(3D)视频显示将成为下一代主流视频显示技术。与传统2D视频相比,3D视频与人的视觉更加匹配,使人们在观看时能获得丰富的立体感和沉浸感。自由视点视频(FVV)或自由视点电视(FTV)是本世纪初迅速发展起来的3D视频新技术,除立体感外其最基本的特性是能提供交互性——用户可以选择视点,系统能根据用户的选择生成相应视点的画面。这种生成任意位置中间视点图像的技术即基于图像的绘制(Image-Based Rendering,IBR)技术,它的主要应用价值是从一系列已知的参考图像出发来生成新视点的图像,可减少需要存储和传输的数据量,在较低的网络带宽时获得更好的视觉效果,已经成为国际上信号处理一个研究热点。本文对IBR中的一些关键技术进行了深入研究,主要贡献及创新点包括以下几个方面:提出一种基于相关性和Tikhonov正则化方程的多视视点合成方法。主要包含以下内容:引入相关信息计算初始视差,并对遮挡区域进行处理;其次利用其它视点图像信息来对视差进行修正,最后用基于一种变异的Tikhonov正则化方程对合成视点的质量进行优化和提高。针对光线空间任意视点绘制的应用场景,提出了一种基于分层预测的光线空间插值方法,实现在稀疏光线空间中完成插值,完成光线空间中各视点的绘制。不同于常用插值方法,该方法从预测结构进行插值,和参考视点一起完成对新视点的预测插值。与传统的BMI和基于光线空间片间相关性的插值方法相比,所提出的基于分层预测的光线空间插值方法能显著提高光线空间的绘制质量。为能在保持重建视点图像质量的同时减少传输所需带宽,提出了一种基于图像修复的DIBR方法,依据单路参考图像序列完成新视点的图像绘制。对于新视点深度图中边缘模糊和新视点图像中存在空洞采用深度图像预处理和图像修复来实现边缘保留和空洞填补,与传统的至少需要传输两路参考图象及相应深度来绘制中间视图像的DIBR方法相比,能有效地降低传输所用带宽。在带宽资源有限的环境中,该方法相比传统方法有较大的优势。实验结果证明该方法的正确性和有效性。在提高深度估计算法生成深度图的精确度方面,针对小基线的多视点视频提出了一种基于深度图增强的视合成方法,利用总体最小二乘(total least squares,TLS)算法消除背景分割区域上由传输噪声和分割误差所带来的影响,实验结果证明该方法可以有助于减少误匹配噪声的影响,提高合成视点的质量。对于IBR中重要的光场绘制技术,提出了一种基于人眼关注的光场绘制方法。针对光场相机的采集图像,计算出显著性区域,将人眼关注度引入到其中,根据相机参数和几何场景进行光场绘制,从而得到新的视点图像。使原本由于深度不连续导致的图像模糊区域变得清晰。