多响应变量回归是一种重要的统计学习框架,其在自然语言处理、推荐系统、生物数据聚类等诸多领域得到了广泛应用。区别于单响应变量回归,多响应变量回归使用相同的一组自变量对多个响应变量建模,进而去估计参数矩阵。然而在当今的大数据背景下,庞大的样本量、纷繁复杂的变量种类给计算效率、参数估计相合性以及模型可解释性带来了前所未有的挑战。尤其是在高维多响应变量回归中,自变量和响应变量的规模都非常大,需要估计的参数矩阵规模也格外庞大,设计一种计算高效并且估计准确的统计方法已经是一个亟待解决的问题。本文对高维多响应变量回归问题进行了探讨,分别考虑了行稀疏的参数矩阵和行列均稀疏的参数矩阵两种多响应变量回归模型。与之对应地,本文提出了两种计算高效的参数估计策略,并且给出了相应的估计误差分析。首先第1章分别从噪声累积,伪相关性以及计算效率三个角度,简要介绍了高维数据给统计分析带来的挑战。随后介绍了在参数稀疏的模型假设下,利用正则化惩罚技术的统计估计方法在高维统计中所取得的理论和算法方面的进展。在第1章的最后介绍了高维多响应变量在近期所取得的成果,并指出关于高维多响应变量在参数估计的相合性分析以及算法设计上还有亟待解决的问题。在第2章中我们考虑参数矩阵行稀疏的结构,介绍了一种计算高效的估计方法,称为PEER,用以估计大规模多响应回归的低秩且行稀疏的回归系数矩阵,其中响应和预测变量的数量都可以是高维的。受稀疏因子回归的启发,我们将多响应回归转换为一组并行的单变量响应回归,从而降低单个问题的计算复杂度,并且能够通过并行计算加速求解。在一些常规条件下,我们证明了 PEER在估计,预测以及变量选择上有良好的收敛性。此外额外的数值模拟结果表明,PEER在估计、预测、计算效率以及变量选择方面优于现存的几种方法。此外,除上述行稀疏的低秩矩阵结构外,行列均稀疏的结构在模型估计中也很常见,例如稀疏的大尺度矩阵分解就是现代统计学习中的基本技术之一。具体地,稀疏奇异值分解和它的变体已经被应用到多元回归、因子分析、生物聚类、向量时间序列建模等其他统计模型中。这种双稀疏分解的吸引力在于它能够发现高度可解释的样本与变量间或自变量与因变量间的潜在关联网络。然而现存的大部分方法或者是缺少理论支持,或者是计算效率低下,这使得它们不适用于大规模数据的研究。因此第3章介绍了一种估计行列双稀疏的单位秩稀疏矩阵的算法（CURE）。该算法受分阶段估计方法的启发,在给定的增量步长下逐步增加参数模型的复杂度以此得到关于参数矩阵的一系列估计（解路径）,并且这一组解对应于一个惩罚参数的序列,因此该算法适用于利用信息量准则调试参数的策略。并且在该章节中我们证明了当增量步长趋于零时,CURE的解能够收敛到分量坐标意义下的最小值点,同时还给出了算法在每步更新中的计算复杂度。在此章节的最后,关于双稀疏单位秩矩阵估计的数值模拟验证了 CURE算法能够收敛到分量坐标的最优点。在第4章中我们介绍了一种将一般的多重秩结构的双稀疏矩阵估计问题拆分成多个单位秩矩阵估计的问题,以此将第3章中的CURE算法推广到一般的行列双稀疏系数矩阵估计问题。并且在本章节中我们介绍了序列拆分和基于初始估计的并行拆分两种策略,同时给出了两种拆分策略的统计收敛率保障。从理论分析上看序列拆分策略由于不需要初始估计,所以相对于并行拆分方法需要的理论条件更弱。另一方面序列拆分的估计方法每一步估计都依赖于上一步的估计结果,因此序列拆分的估计方法存在误差累积的弊端。与之相反并行拆分的策略将原始问题拆分成了多个并行子问题,该组子问题能够同时求解,相互之间的求解是独立完成的,因此避免了误差累积的问题。最后本章节的数值模拟验结果验证了相应的理论结果,此外我们将本章介绍的估计方法运用到了基因性状位点分析中,所得结论验证了方法的有效性。最后在第5章中,我们探讨了分阶段估计策略的不足以及自适应选取步长在单位秩约束下的重要性以及难点。同时指出了分阶段估计策略与理论分析中存在隔阂,填补算法解和理论解之间的统计性质的隔阂是未来值得探讨的问题。此外本章还指出关于高维矩阵分解的统计推断方案仍然缺少充分的理论支持和文献探讨,构造特征向量/潜在因子的统计量也是一个值得研究的问题。