计算机计算能力的增长,推动了计算机视觉相关理论技术的发展,并产生了大量的应用场景,计算机视觉相关应用已经逐渐走入人们的生活当中,甚至成为不可或缺的一部分。随之而来的是对计算机视觉系统的要求(如精度、鲁棒性等)也越来越高。而计算机视觉的相关应用,都是建立在计算机视觉系统良好的感知能力基础之上的。只有能够从环境中获取足够有用的信息,才能够完成相关的视觉任务。然而,目前最为普遍的视觉系统依然是以二维图像信息为处理对象,其信息易受环境干扰,且信息单一,使得计算机视觉系统的鲁棒性和可靠性面临着很大的挑战。本文以提升计算机视觉系统的感知能力为目标,着重研究利用图像复原技术,多信息融合技术,以及从图像中恢复几何信息的技术提升视觉感知能力。本文的研究内容和主要创新点如下:1、针对恶劣天气环境下图像降质问题,研究了图像去雨和图像去雾算法。提出了一种基于雨滴强度的雨滴检测和复原技术,根据所提出的特征检测图像中受雨滴污染的像素,并估计雨滴的强度,然后根据该检测结果对该像素进行复原。对基于暗原色先验和引导滤波的图像去雾算法,分析算法特点,进行算法的优化,合理划分计算模块,充分利用FPGA的资源及其并行处理能力,特别地,本文提出了保留部分和的快速均值滤波技术极大减少了引导滤波中涉及到的冗余计算,提高了资源的利用效率,并在嵌入式设备Zedboard开发板上实现该算法,使得算法可以满足实时要求。2、提出了一种融合颜色信息和深度信息的背景建模算法。对于颜色信息而言,其背景建模结果易受光照变化、颜色欺骗等问题的影响,但是其成像质量好,细节丰富;而对于深度信息,其噪声信息较大,但是不受光照变化影响,且跟物体的颜色无关。单一的信息都具有自身的局限性和自身的优点,利用信息之间的互补性可以有效提高系统的可靠性和鲁棒性。本文提出一种利用特征级信息对决策级结果进行融合的方法,根据问题的特点,对深度信息和颜色信息设计若干相关特征,把决策级融合的问题建模为一个分类问题,利用机器学习的手段,完成信息的融合。实验表明,利用本文提出的融合颜色信息和深度信息的背景建模算法,可以充分发挥两种信息的优势,有效解决了背景建模中的若干难题,如颜色欺骗、阴影问题和深度欺骗等问题。并且本文提出的方法只需增加少量额外计算量,便可以有效提高背景建模算法的精度。3、研究利用深度学习技术解决双目立体匹配问题。针对室外场景下,标签视差数据匮乏且稀疏的问题,提出引入立体匹配问题本身蕴含的几何约束条件指导神经网络的训练过程,有助于学习到更好的模型,提高算法的精度;同时,本文还首次将传统立体匹配的四个步骤(即匹配代价计算、匹配代价聚合、视差计算和视差优化),都融入到一个神经网络当中进行端到端地训练,联合优化。本文提出的网络结构包含三个部分:第一部分为共享特征计算。第二部分为初始视差估计网络,其以共享特征为输入,经过多个卷积层完成匹配代价的计算、聚合和视差的计算。第三部分为视差优化网络,该网络视初始视差为先验视差;并用该视差根据右图的共享特征重构出左图的共享特征,计算重构误差,视为后验特征不变性信息;同时还根据共享特征直接计算相关,视为先验特征不变性信息;则视差的优化可以视为求解在特征不变性信息条件下的后验视差。该方法在充分提高计算效率的同时,大幅度提高立体匹配精度,算法性能达到国际领先水平。