非光滑优化(nonsmooth optimiztion)是指目标函数和约束函数不全是可微函数的优化问题,非光滑优化也被称为不可微优化(nondifferentiable optimization).非光滑优化的应用非常广泛,求解非光滑优化问题的主要难点是一般的基于(次)梯度信息的下降算法不能保证收敛性,本文主要讨论无约束的非光滑优化问题.为了克服求解非光滑优化问题的这个难点,本文研究了几类非光滑优化问题的光滑化求解算法,即利用光滑化技巧将非光滑问题转化为光滑化问题近似求解.论文首先研究了有限无约束极大极小问题的光滑化算法,提出了两种求解有限无约束极大极小问题的光滑化算法;其次研究了有限无约束极大极小问题光滑化方法的实际应用,提出了两种求解最小闭包球问题的光滑化算法;最后研究了支持向量机问题的光滑化方法.本文的主要成果如下：(1)研究了有限无约束极大极小问题的光滑化方法.将极大极小问题转化为等价的非光滑无约束优化问题,构造出一个新的光滑函数,把非光滑无约束优化问题转化为带有光滑参数的一族光滑的无约束优化问题,这一族带有参数的无约束光滑优化问题关于光滑参数的极限,就是有限无约束极大极小问题(利用同伦的思想).而新的光滑函数能够保证带参数的光滑无约束优化问题的梯度和Hessian矩阵是原有限个可微函数的梯度和Hessian矩阵的稀疏线性组合,因此可以大大减少梯度和Hessian矩阵的计算量.然后利用矩阵的不完全Cholesky分解,结合光滑无约束优化问题的牛顿法,给出求解有限无约束极大极小问题的光滑化修正牛顿算法.数值实验结果表明该算法在求解无约束极大极小问题时是有效的.(2)研究了较大规模的有限无约束极大极小问题的光滑化方法.光滑化牛顿型算法需要计算出Hessian矩阵,对于较大规模的有限无约束极大极小问题,Hessian矩阵的计算量和存储量都非常大,而信赖域牛顿共轭梯度法中,不需要完全计算出Hessian矩阵,而只需要矩阵和向量乘积的计算,这样可以大大减少计算量和存储量.因此针对较大规模的极大极小问题,给出了信赖域牛顿共轭梯度算法,数值实验结果表明该方法对于较大规模的有限无约束极大极小问题是有效的.(3)研究了有限无约束极大极小问题的应用问题.对于空间中的最小闭包球问题,由该问题的特殊结构,我们可以很容易将最小闭包球问题转化为有限无约束极大极小问题进行求解.对小规模的最小闭包球问题,已有的算法都能够很好地解决.对大规模的最小闭包球问题,为了避免计算目标函数的Hessian矩阵,从而达到节省内存的目的,利用BFGS迭代方式来更新Hessian的信息,再构造出光滑函数,提出了基于有限内存的BFGS光滑化算法,这种拟牛顿方法在实际计算中可以大大减少计算量和存储空间.数值实验结果表明,有限内存的BFGS方法对于求解大规模最小闭包球问题是有效的.(4)进一步研究了空间中的最小闭包球问题.对于大规模的最小闭包球问题,利用牛顿共轭梯度法无需计算出目标函数的Hessian矩阵,而只需矩阵和向量乘积的计算的特点,结合信赖域搜索方法,将最小闭包球问题转化为光滑的无约束优化问题来求解,给出了求解大规模最小闭包球问题的信赖域牛顿共轭梯度算法.从数值实验结果可以看到该方法具有较快的局部收敛速度.(5)研究了支持向量机问题的光滑化方法.支持向量机问题一般要求解一个带约束的二次凸规划问题,利用其结构特点,可以将该二次凸规划问题转化为含有极大值函数的无约束优化问题,再利用熵函数作为光滑函数,将问题转化为近似求解一个光滑的无约束优化问题,得到支持向量机问题的新的光滑化求解算法.并证明了该方法的误差界为O(1/p2),同时也证明了SSVM算法具有更紧的误差界O(1/p2).数值实验结果表明本章所给支持向量机问题的光滑化算法是有效的.