信赖域方法是求解无约束优化问题的一类重要方法，它不要求Hessian矩阵在每个迭代点处均正定，并适合于求解一些病态问题，而且它还具有较强的收敛性和鲁棒性。由于这些优点，对信赖域方法的研究成为当今非线性优化领域内一个重要研究方向。本文首先研究了一类非单调线搜索的F-准则。然后针对三类改进的信赖域算法具体给出了算法模型；在合理的假设条件下，对这些方法的全局收敛性和超线性收敛性进行了论证；并给出了数值试验。本论文的主要内容如下：　　1.研究了一类求解无约束优化问题的非单调线搜索的F-准则。在强迫函数和连续梯度逆模定义的基础上，给出了新的非单调线搜索F-准则，证明了这种F-准则是Zhang和Hager所给非单调线搜索方法的一般形式；同时在较弱的条件下，证明了这种线搜索F-准则是全局收敛的；最后，利用当前迭代点的信息构造了一类自调节初始步长的非单调线搜索方法，并给出了这类方法的一些重要性质。　　2.研究了一种求解无约束优化问题自适应的信赖域方法。首先构造了一种自适应的信赖域方法。在每个迭代点处，我们充分利用当前迭代点和先前迭代点的信息来构造信赖域半径，使得二次函数模型和目标函数在当前信赖域内具有更好的相似性。对于信赖域半径的调整，给出了一个新的调整策略，该策略利用当前比值和先前比值的一个凸组合。这种自适应的方法不但克服了初始信赖域半径选取的盲目性，而且降低了问题的复杂性，加快了算法的收敛速度；然后在适当的条件下，证明了算法是全局收敛和超线性收敛的；最后，对所给算法进行了数值试验，结果表明新的自适应信赖域方法是非常有效的。　　3.基于锥模型信赖域子问题，并结合非单调技巧，提出了一种非单调自适应的锥模型信赖域方法。在迭代的过程中，算法不要求函数值在每一步都下降，特别是对于目标函数存在弯曲峡谷的情形，非单调性能加快算法的收敛速度。对于非二次性态较强或曲率改变比较剧烈的目标函数，锥模型能够对函数的极小值产生较好的预测，弥补了二次模型方法的缺陷。在合理的假设条件下，证明了算法是全局收敛的，并对单调信赖域方法、二次模型信赖域方法和非单调锥模型信赖域方法进行了数值试验，结果表明该方法是可行的和稳定的。　　4.以锥模型信赖域子问题为基础，研究了一种带线搜索的非单调锥模型信赖域方法。在每个迭代点处，优先使用非单调锥模型信赖域方法，当试探步不能被接受时，使用非单调线搜索寻找下一个迭代点。从而在每个迭代点处，只需要求解一次子问题就可以得到成功的迭代点，这种情形可以避免过大的计算量，加快算法的收敛速度。在适当的条件下，证明了这种算法是全局收敛和超线性收敛的。数值试验结果表明带线搜索的非单调锥模型信赖域方法对求解无约束优化问题是十分有效的。