子空间学习是一种根据应用需要对高维数据进行降维处理和信息结构发现的学习方法。它寻找一种线性或非线性变换将高维空间的数据映射到低维的子空间中去以达到特定的数据处理目的。其理论和方法是机器学习中最重要的课题之一，已经广泛应用到模式识别，计算机视觉，信号处理，数据挖掘，人机交互，认知科学等多个学科。然而子空间学习仍有许多问题尚未解决。本文探讨了一个基于信息论的子空间学习(Information Theoretic Subspace Learning，ITSL)框架，深入分析了基于信息论的子空间监督与非监督学习，以及子空间学习的一个主要应用一主动形状模型算法(ActiveShape Model，ASM)。论文主要贡献总结如下：　　 ①在监督ITSL中，本文提出了一个新的基于非参数Renyi二次熵的子空间学习目标函数，讨论它的理论特性并给出了一个近似算法。当使用拉格朗日乘子法把条件熵约束加入目标函数中时，并且拉格朗日乘子设置成1时，目标函数变为互信息，线性判别分析(Linear Discriminant Analysis，LDA)算法提供了该互信息的一个下界。和传统的子空间监督学习算法相比，新算法能取得一个更好的正确分类率并具有较好的鲁棒性。　　 ②在非监督ITSL中，提出了一种最大熵主成份分析算法。它以最大化非参数Renyi二次熵为目标，具有对噪声鲁棒，能有效地描述任意数据分布等优点。指出了非参数Renyi二次最大熵问题实际上是一个非线性特征分解问题，并提出了一个子空间迭代算法去求解这个非线性问题。实验分析显示了该算法优于基于L2和L1范数的主成份分析方法。　　 ③提出了一种基于最小熵的ITSL嵌入算法。它以最小化基于高斯混合模型的Shannon熵为目标，试图去学习一个低维空间来消除数据冗余。给出了一个基于高斯混合模犁的Shannon熵的上界，并根据该上界，提出了一个基于特征值分解的算法用来近似求解该最小熵问题。实验结果显示，该方法具有更好的鲁棒性和消除数据冗余的能力。　　 ④提出了一种在线的基于几何约束的主动形状模型，使用容易准确检测的点构成一个固定形状，并把它加入原来的ASM中用来约束形状的变化。同时，一个基于贝叶斯推理的由粗到精的形状搜索策略被用来正则化学习到的形状参数，它首先调整大的形状变化，然后调整形状的细节。实验结果显示该方法能有效提高定位准确性。　　 ⑤提出了一种离线的基于稀疏表示的主动形状模型(Sparse ASM，SASM)，讨论了如何让机器选择一组最优基形状去近似一个输入的给定形状，并且使ASM的参数估计更加鲁棒。形状表示问题被描述成一个带有噪声项的L1最小化优化问题，使形状参数估计更加鲁棒。同时，姿态参数估计问题也被描述成L1最小化问题。实验结果显示新算法比贝叶斯算法具有更好的鲁棒性。