本文主要研究改进的一阶算法及其在大规模优化中的应用.大规模优化技术在数据科学、物流、生产建模、复杂系统设计和机器学习等领域有广泛的应用,但也有许多技术问题需要解决,因此许多学者致力于研究如何提高算法效率的问题.一阶算法是最常用的优化问题迭代方法之一,它主要依赖于一阶导数中的信息.一阶算法具有存储量少、计算方便等优点,它被认为是较为稳健且高效的算法.非线性共轭梯度法和BFGS算法是较为流行的一阶算法,本文主要基于此两种方法分别提出了一些改进的一阶算法.共轭梯度法最初是用来求解大型线性方程组,后通过重构经常被用来求解大型非线性无约束优化问题,这些重构方法被称为非线性共轭梯度法.非线性共轭梯度法的主要特点是不需要计算目标函数的Hessian矩阵,该算法收敛速率比最速下降法快,存储量少且计算方便等优点使得其在处理大规模优化问题中有一定的优势.但是一般的非线性共轭梯度法也具有一些缺点,比如收敛速率慢甚至没有良好的收敛性质,且其一般主要局限于求解光滑优化问题.因此寻求一种有全局收敛性质且具有较好数值实验结果的非线性共轭梯度法是十分有意义的研究.本文提出了在Armijo型线搜索条件下改进的共轭梯度法,并将其与投影梯度方法相结合来求解具有凸约束的大规模非线性单调方程,且在适当的假设条件下,建立了该方法的全局收敛性.此外,本文还提出了一种求解非光滑凸无约束优化问题且具有全局收敛性的非线性共轭梯度法.我们用大量的数值实验验证了所提算法的数值有效性和优越性.在目标函数的二阶导数较难计算的情况下,BFGS算法可以通过逼近Hessian矩阵而非直接求解来克服这种缺陷.BFGS算法比非线性共轭梯度法具有更高的收敛速率,且在一些特殊的非精确线搜索技术下,它对凸问题具有超线性收敛速率.但是由于受近似矩阵的存储要求,BFGS算法只能用于求解中小型优化问题.有限记忆BFGS算法(L-BFGS)是一种改进的BFGS算法,它通过存储少量的向量而非矩阵可以稳健的处理一些大规模无约束问题,这种方法的缺陷是收敛速率较低,不易求解病态问题且其一般仅适用于光滑问题的求解.因此,本文考虑对L-BFGS算法进行一些合理的修正,充分利用L-BFGS算法的曲率信息和非线性共轭梯度法的共轭性质,将L-BFGS算法的修正割线方程与新的共轭方向相结合,提出了一种新的混合方法,该方法在改进的非单调线搜索下对非光滑凸问题具有强收敛性,且具有良好的计算性能.此外,为了提高L-BFGS方法的实用性,基于以上混合方法的思路,本文还提出一种新的处理非光滑非凸组合优化问题的近似L-BFGS方法,在一定条件下,证明了新算法的搜索方向收敛于非光滑复合目标函数的稳定点.