线性模型是应用最为广泛的统计模型之一。在金融、生物、医学等各个领域有着广泛的应用。通过构建模型、估计模型系数,我们不仅能够解释协变量与响应变量之间的联系,还可以为现实问题的运动规律做出统计推断和预测。而现实生活中存在很多回归问题其响应变量是多元的情况。作为经典线性模型的推广,多元（多响应变量）线性模型随之产生,并被大量研究和应用。本文主要研究一元线性和多元线性模型的变量选择及其应用问题。具体来说,研究内容包括以下四个部分。在第二章中,我们研究了稀疏高维线性模型下的非负估计和变量选择问题。基于SCAD惩罚函数,我们提出了在非负约束条件下的非负SCAD估计。同时我们提出了适用非负SCAD的乘积迭代算法。在理论方面,证明了在较弱的条件下,非负SCAD有变量选择一致性和渐近正态性。最后,数值模拟和实证分析均证明了所提方法的优越性。在第三章中,我们研究复杂数据结构下的高维线性回归问题。我们提出了一种与图约束相关的正则化方法,称为Sparse Laplacian Shrinkage with the Graphical Lasso Estimator（SLS-GLE）。该方法利用估计描述变量之间条件相关性的精度矩阵来获得变量之间的具体信息,并鼓励回归模型和图模型的稀疏性。我们采用包含图信息的Laplace二次罚项,详细讨论了利用精度矩阵构造Laplace罚项的优点。理论分析和数值结果均表明,该方法提高了模型的可解释性和估计精度。同时我们也将此方法应用于金融问题,并证明此方法在资产组合上是有优势的。在第四章中,我们研究了复杂数据结构下的高维多元线性回归问题。在实际应用中,数据间的相关结构是复杂的,相关性不仅存在于预测变量之间,还通过回归函数存在于响应变量之间。我们针对数据相关性问题提出了Interaction Pursuit Biconvex Optimization（IPBO）方法。该方法允许预测变量和响应变量来自不同的多元正态分布。该方法通过构造包含预测变量和响应变量相关性结构的稀疏罚函数来解决了这一问题。我们在合理的条件下证明了估计的统计性质,并给出该估计的有效算法。数值模拟和实证分析表明,该方法与现有的几种方法相比效果良好。在五章中,我们继续研究了复杂结构下的多元线性回归问题,我们提出了一种用于多元回归问题的新方法,称为Integrated Precision Matrix Estimation（IPME）,是个双凸优化问题,可以通过有效的两步最小化方法来解决。在该方法中,响应变量和预测变量不再被视为两个独立的部分,而是被视为高斯图形模型中一个整体,而图结构中的边对应于多元回归模型中的非零系数。同时我们给出了该估计的统计理论性质。并通过数值模拟比较所提方法与几种现有方法,结论说明该方法在模型选择和估计方面均更有优势。我们将这种方法应用于股票市场,并表明IPME在资产分配选择方面是有效的。