非线性最小二乘问题是最优化领域里非常重要的一类问题。工程计算中大量的实际问题最终都会归结为非线性的参数估计或数据拟合问题，而非线性最小二乘问题正是这两类问题的数学模型。由于来源于实际问题的非线性最小二乘问题一般都是有特殊形式的。考虑和分析这些具有特殊形式的非线性最小二乘问题，往往可以取得事半功倍的效果，易于设计出一些高效、精确、鲁棒的计算方法，这些结果无论对最优化理论的发展还是对实际的工程计算都是有重大意义的。　　 我们首先研究了可分离变量的非线性最小二乘问题。我们的研究突破了传统的变量投影的算法框架，提出了结构型变量不分离的算法框架，并据此设计了三种结构型变量不分离算法。我们的算法继承了变量投影方法的优势，同时可与信赖域方法很好结合，解决一般约束优化问题。我们给出了算法的各种收敛性结果。　　 我们还对二次最小二乘问题的全局极小算法设计问题进行了研究。工程中应用广泛的距离几何模型是这类问题的一个特例。我们提出了全局下降方向的判定方法，根据问题的特殊结构。我们还给出了全局下降方向在二维子空间中的计算方法及全局下降二维子空间的概念和判定准则，并以之构造了随机子空间算法。我们的算法应用在无线传感器定位问题上有很好的数值结果，速度快，稳定性更好，比现有算法有显著的改进。　　 在实际工程问题中，由于误差往往不一定服从高斯分布，因此通过求解最小二乘模型并不一定能够得到很好的参数很估计结果，此时就需要使用其它范数极小化模型。L1范数极小化问题(也称为“最小一乘”)是一种非常好的模型。但是非线性L1范数极小化问题除了具有非凸性外，还属于非光滑优化问题，目前还没有什么非常有效可行的方法能够快速、有效、稳定地求解这类问题。因此在工程应用界，很少使用非线性L1范数极小化模型。　　 我们对非线性L1范数极小化问题进行了研究。证明了求解此类问题的主要工具：信赖域方法的信赖域子问题是NP-难的。并且对此类非光滑的信赖域子问题提出了一种序列二维子空间算法，能够快速地找到信赖域子问题的近似解。我们还给出了当信赖域子问题是凸的时候，算法的收敛性分析。　　 此外，在本篇论文中，我们还介绍了对最小二乘参数估计与观测次数的关系；提出了凸二次规划的不可行原始对偶积极集方法；给出了序列二维子空间极小方法的收敛性分析；并对无约束问题的随机性算法进了讨论。