高维数据上维数灾难问题导致多种机器学习模型泛化能力下降。而线性降维具有较低计算量与较强几何解释。因此,本文在高维分类与回归任务中,面向不同模型研究相应的强泛化线性降维算法。面向k近邻分类器,提出了自适应邻域有监督判别稀疏主成分分析算法,融合有监督判别稀疏主成分分析与自适应邻域投影聚类,同时保留整体与局部结构信息进行高判别性特征提取。实验结果显示,对于k近邻分类器,该算法在各子空间维数下几乎总能取得当前最高平衡分类准确率且具有较强参数鲁棒性。面向惩罚最小二乘分类器,提出了联合自适应邻域监督判别稀疏主成分与判别分析算法,融合自适应邻域有监督判别稀疏主成分分析与惩罚最小二乘分类器,使用工具箱改进联合优化策略,端到端提取判别特征用于分类。实验结果显示,对于惩罚最小二乘分类器,该算法在各子空间维数下几乎总能取得当前最高平衡分类准确率且具有较强参数鲁棒性。进一步实验表明,无论使用k近邻还是惩罚最小二乘分类器,融合了自适应邻域有监督判别稀疏主成分分析与惩罚最小二乘分类器的该算法以更高计算代价取得了比仅使用前者相当或更强的泛化能力。面向惩罚最小二乘分类器,还提出了多视图宽度学习系统,将基于惩罚最小二乘分类器的宽度学习系统拓展到多视图场景,对各视图数据分别使用多种不同随机初始化的线性稀疏自编码器多次降维,保留增量学习特性同时避免视图间相互干扰,选择并提取多视图多样化特征。实验结果显示,相比其它单视图与多视图算法,该算法可有效提取恒河猴内侧额叶皮层辅助眼区采集的局部场电位与动作电位关于眼动决策的互补信息,显著提升了解码准确率与效率。面向Takagi-Sugeno-Kang（TSK）回归模糊系统,提出了置信度步长幂梯度下降法,在现有变学习率梯度下降法基础上增加对梯度模长的放缩,缓解高维输入与离群点带来的梯度消失与梯度爆炸问题,加速并稳定梯度下降优化进程。融合该算法与正则化等策略,可用于构建强泛化TSK回归模糊系统。实验结果显示,该算法在各规则数下均取得了当前最低均方根误差且具有较强参数鲁棒性。面向TSK回归模糊系统,还提出了一致性降维及其两个变种。一致性降维基于梯度反传自动找到规则前件与后件共享的输入子空间,端到端提取一致特征用于回归。融合一致性降维与上述优化算法,并使用网格划分初始化的共享隶属度函数,或模糊C均值聚类初始化的独立隶属度函数,可得到两种不同结构的TSK回归模糊系统。进一步融合一致性降维与自适应规则剪枝或自适应组最小绝对收缩和选择算法还得到两变种。实验结果显示,一致性降维在各规则数下几乎总能取得当前最低均方根误差且具有高计算效率与较强参数鲁棒性,两变种则以稍高计算量取得了更强泛化能力。综上,本文主要面向易受维数灾难影响的三大机器学习模型（k近邻分类器、惩罚最小二乘分类器与TSK回归模糊系统）,在对应高维数据分类与回归任务中,进行强泛化线性降维算法的系统性研究。所提出的面向k近邻分类器、同时保留整体与局部结构信息的线性降维,面向惩罚最小二乘分类器、端到端提取判别特征用于分类的线性降维以及选择并提取多视图多样化特征的多视图宽度学习系统,面向TSK回归模糊系统、端到端提取一致特征用于回归的一致性降维等均取得了强大泛化能力。