图像作为最主要的信息传播媒介之一,包含了丰富的视觉感知信息并广泛应用于人们的日常生活中。近年来,在大数据的时代背景下,图像的获取方式多种多样,人们对图像处理任务的需求也越来越丰富,从图像美颜到人脸识别,从自动驾驶到遥感探测,等等。为了更好地利用图像来方便人们的生活,许多研究人员致力于提出机器学习算法并搭建人工智能系统来提取图像中的有效信息。其中,图像的表征学习是非常重要的环节。与传统的浅层线性模型相比,深度非线性模型有更强的数据表征能力,更容易揭示原始图像空间与特征空间之间复杂的非线性关系。因此,本文将展开基于深度非线性特征表示方法的图像处理研究。本文从核方法入手,展示并分析了非线性模型在表征学习中的优势。为了进一步实现在大数据背景下的高效表征学习,本文研究了用神经网络参数化表达的变分概率生成框架。在有监督的图像超分辨任务中,该框架展现了出色的数据生成能力。受此启发,我们将此种框架用于更具挑战性的无监督高光谱图像超分辨任务。本文的主要研究内容概括如下:1.针对图像目标识别任务,提出了一种全新的鉴别核字典学习方法来提取鉴别特征。表征学习过程中涉及两项约束。其中,重构项旨在学习一个结构化核字典来获取图像的稀疏隐表示,而鉴别项旨在利用核方法进一步将重构项中的稀疏隐表示非线性映射为鉴别特征。不同于传统方法关注于构建鉴别特征的具体形式,该方法旨在直接获取鉴别特征之间的相关性,并以内积形式来表述该特性,因而与支撑向量机的分类机理更加匹配。为了优化该目标函数,我们提出了一种结构化核KSVD算法。与传统字典学习方法相比,所提出方法在多个一般图像数据集和合成孔径雷达数据上均表现出更优的识别性能。2.针对单幅图像超分辨问题,提出了一种变分概率生成框架,在提取高、低分辨率图像共享的隐表示的同时完成快速超分辨任务。该任务采用有监督学习方式,在训练集上学习高、低分辨率图像之间的关系,再用于测试图像的超分辨任务。首先我们建模了由隐表示生成成对的高、低分辨率图像的联合似然,并通过条件先验来隐式表达从高分辨率图像到低分辨率图像的降质过程。为了高效推理隐表示,我们构造了一个由低分辨率图像到隐表示的识别模型。经过训练,我们获得了一个由低分辨率图像到高分辨率图像分布的回归网络。此外,为了更好地与其它编码式图像超分辨模型和回归式图像超分辨模型相对比,我们还给出由该框架衍生出其它经典模型的推导过程。从中可以进一步看出所提出的模型结合了编码式与回归式图像超分辨模型的优势。实验结果表明所提出的模型不仅可以实现快速图像超分辨,还对噪声有较好的鲁棒性。3.针对无监督的高光谱图像超分辨问题,构建了一种变分概率生成模型用于融合一幅低分辨率高光谱和一幅高分辨率多光谱来获得高分辨高光谱图像。首先,我们将非线性光谱混合过程建模为从隐表示到高光谱像素的概率生成过程,再利用光谱响应函数来构造从高光谱像素到多光谱像素的概率生成过程。为了快速推理隐表示,我们构造了两个识别模型。我们将上述概率建模过程展开为一个深度神经网络,从而利用随机梯度更新对全部模型参数进行同时优化更新。与传统基于线性光谱混合的模型相比,该方法具有更强的非线性表征能力,因而融合性能更优。与多阶段的融合方法相比,该方法同时更新所有参数,使得高、低分辨率图像在融合过程中信息交互更为密切。此外,我们还将模型进一步扩展为在训练数据上进行无监督学习,从而实现在测试图像上的实时融合处理。4.对第四章所提出的变分概率生成框架做出进一步的改进,并结合卷积神经网络来参数化表达该框架,从而更好地提取图像内部的空间相似性和局部光谱结构,以及更好地描述高低分辨率图像间的空间对应关系。此外,为了利用历史图像数据进行离线式模型训练从而加速在新任务上的在线测试速度,我们基于这些历史数据进行无监督训练。然而,训练与测试图像分布间往往存在差异,这将会导致在训练图像上得到的模型参数不一定能适应于测试图像的融合任务。为了在保证融合质量的同时使模型快速适应于不同的融合任务,我们将融合任务与元学习有机结合在一起。据我们所知,这是第一个利用卷积神经网络来解决无监督的高光谱与多光谱融合任务的工作,也是第一个利用元学习更新模型参数以快速适应于不同融合任务的工作。