统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论，着重研究在小样本情况下的统计规律及学习方法性质，为机器学习问题建立了一个较好的理论框架。而支持向量机(support vector machine，SVM)正是STL的一种成功实现，它建立在统计学习理论的VC维理论和结构风险最小化原理基础上，根据有限样本信息在模型复杂性(即对特定样本的学习精度)和学习能力(即无错误的识别样本的能力)之间寻求一种折中，以期达到最佳的推广性能，与基于经验风险最小化原则的神经网络的传统学习方法相比，具有更好的泛化性能，它在解决小样本、非线性及高维问题中表现出许多特有的优势。 支持向量机最初被用来处理分类问题，近来，在回归问题领域也得到不断发展，因此研究和完善支持向量机理论及其实现算法具有重要意义。此外，研究支持向量机的非线性系统建模，对于丰富和完善支持向量机的理论和算法、进一步推进其在各领域的应用具有积极的推动作用。 论文的具体内容如下： (1)从机器学习和统计学习角度对支持向量机进行深入的分析与探讨，从理论角度对支持向量机给予了抽象与总结。 (2)针对分类问题对在结构风险中采用一般范数来控制模型的复杂性问题分析的基础上，提出了两种基于1-范数和∞-范数的线性规划支持向量机，包括线性支持向量机和非线性支持向量机，并采用模拟数据对不同形式支持向量机进行了数值试验。 (3)针对回归问题提出了基于1-范数和∞-范数的线性规划回归支持向量机，并通过求解对偶规划来提高单纯形学习算法的计算速度。同时，对∞-范数线性规划回归模型的模拟试验分析。 (4)对基于1-范数的线性规划回归支持向量机进行系统建模，探讨了应用在实际问题过程中的模型参数的选择和优化问题，训练样本的选择问题，数据的预处理以及与神经网络预测模型和标准支持向量机模型的比较。