统计学习理论是上世纪六七十年代建立、于九十年代中期流行起来并延续至今的一套较为完整的数据挖掘理论。统计学习理论和由此衍生出的数据挖掘技术,在生物信息学、大气物理学、环境生态学等领域以及军事、通讯等行业已被广泛研究和应用;近年来经济、金融、管理和互联网等相关行业的数据挖掘研究也逐渐成为了主流发展方向之一。相比于自然科学统计,社会科学统计所研究的对象往往与人有关。在相关的统计调查中,由于调查手段和调查对象的局限性,被获取的数据容易包含大量的多种噪声,甚至是异常数据,这会使得学习机的稳定性与结论的可靠性被严重削弱。如何减弱噪声对模型的影响是一个经典的数据挖掘问题,这在很多社会科学领域的研究中尤为突出,因此对于复杂的噪声数据的分析,已成为当下的热点问题之一。使用不合适的统计方法来提取含噪声复杂数据的信息,将导致有偏差的结论,但在大量数据中甄别和清洗噪声会消耗非常多的人力物力。因此,针对数据和噪声的特点来选择更加合适的学习机是必要的。其中,选择合适的损失函数来度量由复杂数据所带来的经验风险,是一种提升学习机稳定性的有效方法。本文以分类和回归问题为背景,以统计学习所导出的支持向量机为框架,以损失函数的凸性、单调性、光滑性、衍生关系等为逻辑链条,全面系统地总结了统计学习中常见的损失函数,规范了它们的数学表达与图形表示,分析对比它们的统计性质和结构。在此基础上,本文通过构造出具有特定结构的非凸损失函数框架,为损失函数引入稀疏、有界、光滑等优良性质,并由此生成了许多可为模型增强稳定性的新非凸损失函数。随后,本文通过若干数值实验,比较了本文提出的非凸损失函数和相关现存损失函数之间的表现,验证了新损失函数的优秀性能。最后,本文给出使用损失函数的一些建议,并对损失函数的前景做出了展望。