论文部分内容阅读
整个文章安排如下:第一章介绍了独立分量分析的基本背景和应用领域,给出几个ICA的基本模型以及假设条件.第二章给出必要的预备知识.主要包括梯度概念,因为独立分量分析问题,基本是算法问题,所以我们给出了梯度的基本内容.另一个基本概念就是独立性.结合独立分量分析的环境,我们给出它和相关性关系的一个很好的例子,第三章把独立分量分析放在统计学习的角度来分析,指出它是一种无师(Unsupervised Learning)的学习方法.第四章把独立分量分析和多元分析进行的比较,独立分量分析是一种高阶方法,其主要目的不是"降维",这是和其他经典多元分析方法的不同之处.第五章把独立分量分析与信息理论结合起来.在介绍几个基本概念后,给出Infomax原则的起源极其处理ICA问题的不足:目标函数和独立的关系不是一一对应的,以及处理源信号密度时参数采用手段的缺陷.和这个方法本质相同的极大似然方法由于也是参数方法,同样存在类似的问题.第六章给出独立分量分析和主分量分析的比较,结论是尽管独立分量分析可以在一定条件下可以非线性主分量分析方法得到,但由于其目标函数并不是独立性,而是最小二乘意义上的拟合误差,独立结果有偶然味道.第七章给出了作者关于独立分量分析的研究-非参数密度估计方法在独立分量分析中应用,是该论文的重点.由于独立在统计上就是密度函数的可因子分解,我们紧紧围绕这这个定义,并把联合密度和各分量密度乘积的差作为该问题的目标函数.从而得出基ICA的非参数研究办法.本质是对源信号密度的估计,我们用的方法是非参数"核密度"估计方法,而不是ICA文献中的各种参数方法.这样我们不但有了联合密度函数,同样也得到各边缘密度函数(仅用到投影),其优点文中给出说明.第八章简单介绍非线性独立分量分析.这里的非线性是指独立分量和观测变量的非线性函数关系,目前这个领域的研究不多,主要方法是贝叶斯方法,该章简单给出此方法的说明,并指出我们的方法很容易移植到非线性ICA问题中.