回归分析是一个经典的统计模型,其参数估计的常规方法是最小二乘法。近年来,回归分析有了很大发展,产生了不少新的模型和估计方法。本文尝试将其中的一些模型和方法进行理论分析和数值验证,以期对实际应用者和理论研究者提供有益的参考。本文主要研究内容如下：1、关于高斯混合回归模型的理论分析与模拟实验研究。首先,引入高斯混合模型,讨论其参数估计方法。进而给出高斯混合回归及其相关理论,并进行模拟实验,通过同其他常用常规回归方法的对比,分析模型的理论结果,在模型精度、稳健性等方面对模型进行全面评价；2、关于混合回归模型的理论分析与模拟实验研究。基于混合回归模型的基本理论,讨论现有的一些参数估计方法,提出MCMC方法的实施策略,通过计算机模拟对模型和参数估计进行分析和评价,并与EM参数估计方法进行比较；3、关于多层次回归模型的理论分析与模拟实验研究。引入多层次回归模型的基本理论,包括基本的模型类型、相关参数的估计方法等,比较现有的回归方法,并通过实际数据实验对多层次回归模型进行分析和评价。