近二十年来，流形上的优化算法已成为非线性规划领域的一个重要的研究方向，并在模式识别、图像处理、盲源分离以及生物医学信号处理等很多领域中获得了非常成功的应用。流形上的优化算法把约束集视为流形，于是传统的约束优化问题转化为无约束优化问题。此外，流形上的优化算法也统一了约束优化和无约束优化。论文首先论述了流形上优化算法的研究背景、研究意义、国内外研究历史及现状，同时简要叙述了论文的创新点和组织结构。由于黎曼流形理论、李群理论及常用的非线性最优化算法等数学知识是必不可少的，文中也作了简明扼要的介绍。其次，讨论了Stiefel流形上的梯度下降算法及其在特征提取中的应用。为了提高系统特征提取算法的计算效率、减少占用的存储空间和简化程序设计，基于黎曼流形上优化算法的几何框架，提出了改进的Stiefel流形上的梯度下降算法。以主分量分析问题为例，详细讨论了Stiefel流形上的梯度算法在其中的应用。理论分析和实验均表明，此方法可以在确保迭代矩阵列向量单位正交性的同时获得更好的计算效率和收敛速度，并且软硬件实现也更容易。再次，讨论了特殊线性群在图像拼接中的应用。为了提高图像拼接的速度和拼接图像的视觉效果，提出了一种基于非下采样轮廓波变换的图像拼接方法。首先利用角点检测算法获得待拼接图像的匹配点，选取以匹配点为中心的空间频率最大的一定大小的子图像为模板，利用流形上的优化算法求解变换参数；再将待拼接图像分解为不同尺度和不同方向的子频带图像，在变换域进行对应的拼接；最后利用重构算法将拼接的各个子频带图像进行反变换，得到最终的拼接图像。实验表明，此方法速度更快，视觉效果更好，拼接后的图像更加自然，过渡更平滑。最后，本文讨论了矩阵李群在盲源分离中的应用。首先，介绍了盲源分离和独立分量分析的基本概念及其相互关系。作为盲源分离的重要方法，讨论了独立分量分析的目标函数及其实现方法。其次，基于一般线性群的李群结构，详细推导了自然梯度算法，并讨论了一般线性群的子群-正交群上的梯度算法。本文最后，讨论了基于随机抽样一致算法的稀疏分量分析方法。理论分析和实验均表明，此算法不仅可以有效地估计出混合矩阵，而且对稀疏度要求适当降低的信号也有较好的分离效果。