近年来，基于流形假设的图像建模受到了广泛关注。考察自然图像的空间结构可知，其在向量空间中是呈极稀疏分布的，因此必然由各种不同的流形组成，这些流形分别对应于自然图象所表达的景物的不同状态和成像条件，例如：物体姿态流形、摄像机参数形成的图像流形、光谱-分辨率流形等。本文首先解决了当前流形学习的存在的两个问题，然后利用流形的概念指导了几个应用。具体内容包括三个方面：物体姿态流形的半监督匹配、流形的神经网络建模和图像流形上的融合和光流。　　 ①姿态流形的半监督匹配以前的流形学习文献都只提到了将离散的流形映射到一个欧氏空间的子集。然而，有许多拓扑结构复杂的流形却不能在保证邻域结构的条件下被映射到等维的欧氏空间。对于这一类数据流形，使用以前的方法将只能找到该流形能够嵌入的最低维度的欧氏空间，并不能将其嵌入到本质维度的解析流形上去。本文将有闭环的流形直接映射到其解析形式的本质参数流形上去，例如，将圆形数据直接映射到圆上，将不同摄像机角度得到的图像映射到刚体旋转矩阵流形(特殊正交群SO(3))。部分解决了流形学习中带回环的流形的问题。　　 ②引入神经网络来建模流形学习得到的对应关系，实现了流形的神经网络表示。同时利用神经网络来训练从高维图像空间到嵌入空间的前向和从嵌入空间到图像空间的反向网络。此外，本文作者还将前向和反向网络组合起来构建了自联想和交叉联想模型。前向映射、反向影射、自联想和交叉联想实验结果表明，该方法能在更广泛的意义上解决Out-of-Sample的问题。神经网络是流形的一种既便于学习训练，又便于投影、反投的表示。　　 ③图像流形上的融合与光流本文围绕场景的图像流形进行了三个方面的工作：一是通过对光谱-分辨率流形的分析，提出了一种新的图像融合的方法；二是通过对多焦距流形的分析，提出了一种新的多焦距图像融合方法；三是将尺度空间光流推广到了一般多维多通道图像。