在解决许多实际问题中,需要使用解释变量对响应变量建立预测方程,但当涉及的解释变量较多时,解释变量间往往存在相关性;或者当取得的样本点数量小于解释变量个数时,都可以引起多重共线性问题,这时如果仍采用普通的最小二乘法来建模,那么这种多重共线性就会严重危害参数的估计、扩大模型误差、破坏模型的稳健性。 本文阐述了解决多重共线性问题的三种方法:岭回归方法、主成分回归方法、偏最小二乘回归方法,并对这三种方法进行了综述,且对它们的性质进行了归纳和总结,特别总结和归纳了基于方差最大性原则下的主成分分析的计算方法和步骤以及多因变量的偏最小二乘回归方法的计算方法和步骤。 本文讨论了岭回归、主成分回归和偏最小二乘回归的存在的一些问题,在岭回归中采用了一种基于均方误差无偏估计达到最小原则下选择岭参数K的新方法;在主成分回归中我们采用主成分的加权残差平方和来替代仅用残差平方和来筛选特征值的方法,明显改善了系统的误差,使得模型的精确度有了较大的提高;在偏最小二乘估计中我们从计算的约束条件着手,分析了解释矩阵中有较多信息且与响应变量具有较高相关性这种理想状态下的矛盾,采用了用正交投影的办法,把解释矩阵中与响应变量无关的成分扣除掉,经过这样处理的解释矩阵便不存在含有大量与响应变量无关的信息问题,从而扩宽了偏最小二乘回归方法的使用范围。同时还发现在偏最小二乘法当中利用交叉有效性原则选取主成分个数时,交叉有效原则并不是总是有效的,通过例题进行了说明。并且采用了一种基于”残差平方和的减小率”与Q_k~2准则相结合的方法来确定主成分的个数的新方法,这种准则是否合理,还需要我们在实践中进行检验。