鱼眼镜头因为其大视场的特点被广泛应用于各种领域,然而,鱼眼相机在为人们带来较大的信息获取范围的同时,也造成获取图像的严重径向畸变。径向畸变不但会对图像的视觉质量造成一定的影响,还会阻碍后续图像处理算法的正常进行,如常见的目标识别、跟踪等。针对这个问题,本文提出了鱼眼图像径向畸变校正算法,可对单幅畸变图像进行校正,生成适合后续场景感知任务的校正图像。主要研究工作如下:第一,提出了一种联合畸变校正和超分辨率的端到端框架,可以生成具有丰富细节纹理的校正结果。这是计算机视觉领域中第一个将畸变校正和超分辨率技术结合起来的网络框架,可以学习从低分辨率畸变域到高分辨率无畸变域的映射函数。设计的网络结构中引入通道注意机制,根据通道之间的相互依赖关系给特征赋予不同权重,从而加速网络的收敛并进一步提高网络性能。此外,针对自动驾驶场景的特点,提出了一种基于目标感知的超分辨率损失函数,以促进车辆和行人的纹理重建。实验结果表明,该方法在客观评价指标和主观视觉方面均取得了较好的校正和增强效果,PSNR和SSIM达到28.07和0.842,为鱼眼图像在自动驾驶场景的感知提供了更为普适的图像输入。第二,将鱼眼图像从直角坐标系转到极坐标系下,设计了一种基于坐标转换的径向畸变校正算法。包括上一个工作在内的常见畸变校正算法没有充分利用畸变的径向对称特性,即在畸变图像中,距离畸变中心相同的像素点的畸变大小是相同的。基于这一事实,将畸变图像转换到极坐标域,使得每一行的畸变大小相同。因此,利用畸变的径向对称性预测更直观的一维光流,而不是预测x和y方向的二维偏移。设计的极坐标畸变校正网络中使用方形最大池化结合膨胀卷积,其采样策略与径向畸变特性相符,以便更准确地预测光流。为了消除由坐标变换引起的模糊和环状伪影,设计了极坐标到直角坐标的外观增强网络,以增强校正后的局部外观。在合成数据集和真实鱼眼数据集上的实验结果证明,该方法在定量和定性方面均具有较大的优越性,PSNR和SSIM达到22.48和0.7059。第三,由于前两个工作和大多数现有的基于深度学习的图像校正方法都需要相应的的真值标签监督,如利用畸变参数、真值光流、成对的图像数据等,而真实鱼眼镜头拍摄的图片没有对应标签进行监督。因此,提出了一个基于生成对抗网络的极坐标域自监督深度学习框架,在训练过程中不需要相应的标签。将畸变图像转换到极坐标系下,竖直平分为两张图像,利用极坐标图像畸变大小水平一致性和极坐标图像内部畸变平滑性,对预测得到的光流和校正后的图像进行自监督。将得到的校正结果和畸变图像以及不配对的真实无畸变图像分别输入到判别器网络中,判别是否真实以及是否含畸变。该算法的校正结果具有较好的客观质量和主观质量,PSNR和SSIM达到16.87和0.5136,模型的有效性和鲁棒性得到了成功的验证。