论文部分内容阅读
复杂环境下动态系统结构学习研究主要是在贝叶斯的非参数框架体系下通过非参数推理及学习方法达到对复杂动态系统的结构的认知。贝叶斯非参数分析是机器学习领域中最前沿的课题,它在对研究对象潜在的总体知之甚少的情况下,通过数据自动地推断模型空间的维数及复杂度,成为复杂动态系统结构学习最强大的工具,在语音信号处理、图像处理、文本语义分析及生物医学信号处理等众多领域里展现了广泛的应用前景。非参数贝叶斯研究的对象大多是复杂随机对象,其数据集的产生,要么来自于某一复杂的随机度量分布,要么来源于更复杂的随机函数对象。这种复杂随机对象的不确定性传递远比参数贝叶斯研究的基于参数化分布的传递要复杂得多,虽然非参数贝叶斯框架体系为这一潜在的过程定义了合适的先验过程,使得研究者能够在贝叶斯统一的框架体系下来处理这一类数据集,但传统的系统分析方法并不显得十分有效,马尔科夫链蒙特卡洛方法(MCMC)为这类后验过程的逼近提供通用的工具,但如何有效地构建无穷维的MCMC推理算法是复杂动态系统结构学习的难点。围绕这个问题,本文进行了如下三部分的工作:第一部分研究线性动态系统在复杂的噪声环境下如何提取有用信号的问题,首先提出一新的非参数贝叶斯块采样推理技术来辨识任意复杂的多模噪声分布,该方法的基本思想:在时序采样中,样本在基于条件独立性准则下可一次性更新,这通常比单独更新更简单有效,能够较为精确地逼近噪声的后验分布;在正确地辨识噪声的基础上,进一步分析这种噪声模型在高维情况下对提取有用信号的影响,通过引入中国餐馆过程混合模型(Chinese Restaurant Process Mixture Model,简称CRPMM),能够较方便地获得马尔科夫链的样本的展开,结合卡尔曼滤波技术,能够在分布空间逼近的基础上取得较高的精度。仿真结果及Dirichlet语音增强实验证明算法的有效性。第二部分解决复杂动态系统的非参数回归及预测问题,提出了基于Dirichlet过程混合的高斯过程模型来揭示复杂动态系统结构数据的多态性的内在机制,针对均值结构与协方差结构稀疏性的差异性,设计了参数先验与非参数先验来构建基于Polya urn与过松弛层采样混合采样的框架体系,这种混合采样方案不但能够在统一的Metropolis-Hasting概率评价准则下实现,而且能够最大限度地克服高斯“随机走步”的缺陷,可以方便快速地获得马尔科夫样本链的展开。通过仿真及对心电图(ECG)信号的内插及外推预测分析结果表明,基于Dirichlet过程混合的高斯过程模型的混合采样推理算法具有更高的精度和更广泛的适应性。第三部分研究完全可交换文本信息抽取方法,给出潜Dirichlet分配(Latent Dirichlet Allocation,LDA)模型的图模型表示,建立可交换文本主题个数的贝叶斯信息模型选择准则(Baysian Information Criterion ,BIC),提出了基于独立性采样Metropolis-Hastings算法,最后讨论算法的收敛性及BIC准则关于复杂度的“折衷”考虑对收敛性的影响。真实文本数据集实验证明了算法的有效性。本文的主要创新点体现在:1)提出了基于块采样的非参数的噪声辨识算法,能够在分布空间上更精确地逼近噪声的后验分布,取得了比参数化点估计更高的精度。以条件独立性采样替代相关采样,加快马尔科夫链的收敛速度,在非稀疏噪声的辨识中具有更广泛的适应性。2)将有限维混合的高斯过程模型扩展到无穷维;非参数函数回归分析能够避免参数化分析对不动点递推规则的建立问题。3)在非参数回归及预测分析中,采用混合采样方案,能够一定程度地克服马尔科夫“随机走步”现象。4)建立基于BIC准则的独立性采样Metropolis-Hastings算法能够完成可交换数据集主题个数的辨识,克服了LDA模型在训练可交换数据集时需要人为地指定主题个数的不足。本论文的研究工作获得上海市科委重点基础研究项目支持:上海市科委重点基础研究项目:“复杂环境下动态系统结构学习”,项目编号:05JC 14026;