论文部分内容阅读
变分推理方法被广泛用于评估概率图模型的后验分布或分布对应的期望，其基本思想是通过变分转换将推理问题转化为一个变分优化问题，利用迭代方法以期望能够高效的获得一个近似解。然而，该方法存在着一个严重的局部最优解问题，算法的收敛效果取决于初始值的选择，因此为了能够实现全局最优解，算法应当尽可能广泛的选择初始值。针对EM算法和VBEM算法全局收敛效率低的问题，本文提出了相应的改进办法，其研究内容主要包括以下三个方面：(1)针对传统EM算法存在的局部最优解问题，引入非广延统计力学的Tsallis熵替代传统的香农熵，提出一种TDAEM算法。该算法结合了退火算法和Tsallis熵的优点，通过控制参数q和，避开局部最优点，提高全局最优收敛效率。(2)针对VBEM存在严重的局部最优解问题，借鉴退火算法的思想，提出一种用来克服局部最优解问题的确定退火VBEM算法——DAVBEM，同时将其推广到混合高斯模型中。该算法利用最大熵原理，导出带有温度参数的新变分后验分布，利用温度参数控制退火过程，降低算法对初始值的敏感程度，从而使得该算法能更好的逼近全局最优解，并从理论上给出其收敛性证明。(3)将GMM_DAVBEM算法推广到共轭指数模型中，导出一种新的CE_DAVBEM算法。同时，对CE_DAVBEM算法的正确性和有效性分别给予理论证明和实验验证。