论文部分内容阅读
最大期望算法(简称EM算法)是机器学习中一种极其重要的迭代算法,主要用于解决数据缺失情形下参数估计问题。EM算法也是一种数据添加算法,通过引入“潜在数据”可以实现对不完全数据到完全数据的转换。因而,EM算法在处理数据缺失情形下的各类统计分析问题时备受欢迎。但EM算法也存在不少缺陷,如收敛速度慢、某些情形下难以给出E步或M步的明确表达式。正是这些缺陷给统计分析带来诸多不便,促使不少学者提出了多种改进的EM算法以及EM算法与其他算法相结合的混合算法。论文结合已有研究成果,着重研讨了EM算法及其改进算法在指数族混合分布、多层线性模型参数估计问题中的应用问题。主要完成的工作和获得的成果如下:(1)概述了EM算法及其改进算法的研究背景、国内外研究文献,以及EM算法及其改进算法在解决缺失数据情形下参数估计问题的研究现状和应用状况。(2)研究了EM算法、MCEM算法、MCEM加速算法和改进的MCEM加速算法的基本原理,给出了各算法的迭代步骤、优缺点分析。针对四种算法,论文给出了算例分析,参数迭代结果精确,并对参数迭代值收敛速度进行了比较。(3)针对指数族混合分布,给出了EM算法下一般性指数族混合分布参数估计的推导过程,给出了EM算法和MCEM算法下常见指数族混合分布参数估计的迭代公式,并通过模拟获得了较为精确的参数估计值。研究填补了基于EM算法和MCEM算法的指数族混合分布参数估计问题这一空白。(4)针对多层线性模型,给出了EM算法和MCEM算法下参数估计的迭代步骤,并基于迭代步骤进行了数值模拟。模拟结果显示参数估计值较为精确。研究解决了基于EM和MCEM算法的两层线性模型参数估计问题,克服了最大似然估计法对多层线性模型参数估计的缺陷。