论文部分内容阅读
摘要 本文从原理、算法及应用对独立分量分析进行了一个较全面的综述，具体介绍了FastICA算法，并用FastICA算法对图像信号进行了分离。实验表明，独立分量分析能获得很好的分离效果。
关键词 独立分量分析 盲源分离 FastICA算法
中图分类号TP391.04文献标志码A
Independent Component Analysis Algorithm and Its Testing Application
Wu Xiang-rong (Zhejiang Technology Institute of Economy，Hangzhou 310018)
Abstract In this paper，the fundamental theory、algorithm and application is introduced.Analysised concretely the FastICA Algorithm and have an experiment on image seperation with the FastICA Algorithm.The experimental results demonstrate that ICA is an effective signal processing method.
Key-words Independent Component Analysis Blind Signal Separation FastICA Algorithm
独立分量分析(Independent Component Analysis，ICA)[1，2]是近年来发展起来的一种新的信号处理技术。它的基本含义是将多道观测信号按照统计独立的原则通过优化算法分解为若干独立成分。在大多数现实情况下，源信号为相互独立的非高斯信号，而观测信号则为源信号的线性组合信号，ICA就是在源信号和线性变换均不可知的情况下，从观测的混合信号中估计出源信号。ICA与传统的二阶方法(如主分量分析，奇异值分解等)相比，不仅可以去除各分量之间的一、二阶相关性，同时还具有发掘并去除数据间的高阶相关性的能力，使得输出分量相互独立，因此，ICA能更加全面揭示数据间的本质结构。正是因为这一点，ICA在许多方面对传统方法的重要突破使得其越来越成为信号处理中的一个极具潜力的分析工具。
一、ICA的线性模型
ICA的线性模型可以描述为： X(t)=AS(t)，M≥N (1)
其中S(t)=[S1(t)，…，Sn(t)]T是由N个未知的源信号Si(t)，i=1，…N构成的一个列向量，t是离散时刻，取值为0，1，2，…。A是一个M×N维矩阵，一般称为混合矩阵。X(t)=[X1(t)，…，XM(t)]T是由M个可观察信号Xi(t)，i=1，…M构成的列向量。ICA的问题是，对任何t，根据已知的X(t)在A未知的条件下求未知的S(t)。一般，ICA须满足以下几个假设条件：①各信号源Si(t)均为0均值、实随机变量，各源信号之间统计独立；②源信号数M与观察信号数N相同，即N=M，这时混合阵A是一个确定且未知的N×N维方阵；③各Si(t)的概率密度函数(pdf)中只允许有一个具有高斯分布；④各观察器引入的噪声很小，可以忽略不计；⑤关于各源信号的pdf即Pi(Si)，略有一些先验知识。
ICA的目的是获得一个N×N维反混合阵W=(wij)，使得：
Y(t)=WX(t)=WAS(t)(2)
若通过学习得以实现WA=I(I是N×N维单位阵) ，则Y(t)=S(t)，从而达到了源信号分离目标。但现实信号往往不能同时满足上述这些假设条件。近几年，许多学者都涉及了减弱这几个假设条件的ICA研究，提出了一些新的理论，如：非线性ICA；带噪声的ICA；信号有时间延时的混合；卷积和的情况；源的不稳定问题等。但这些理论还不够完善，许多问题还有待进一步研究解决。
二、ICA的算法
ICA以统计独立为基本原则，统计独立的衡量为ICA算法的关键。信息论中的互信息可用于衡量统计独立性。基于互信息最小化可构造多种目标函数。目标函数给定后，可采用经典算法进行优化，如梯度法、拟牛顿法等。目标函数的选取决定了ICA方法的统计特性(如一致性、鲁棒性)；而算法特性(收敛速度、内存要求)则取决于优化算法的选择。目前，主要ICA算法有：FastICA算法，Infomax算法，互信息最小算法，最大似然算法等。无论采用何种算法，必须先对观测数据进行白化处理，因白化处理可去除各观测信号之间的相关性。
(一)FastICA算法[3]
FastICA算法，又称固定点(Fixed-Point)算法，它以负熵最大(即非高斯性最大)作为一个搜寻方向，该算法采用了定点迭代的优化算法，收敛快且稳健。
由于计算微分熵需要知道Y的概率密度分布函数，这显然不切实际，一般采用负熵的近似公式：
其中，E[.]为均值运算；G[.]可取G1(u)=a1-1lgcos(a1u)，或G2(u)=-exp(-u2/2)等非线性函数。
FastICA算法的推导：这里，非高斯性用式(3)给出的负熵Ng(WX)的近似值来度量，WX的方差约束为1，对白化数据而言，这等于约束W的范数为1。WX的负熵的最大近似值能通过对E{G(WX)}进行优化来获得。根据Kuhn-Tucker[4]条件，在E{(WX)2}=‖W‖2=1的约束下，E{G(WX)}的最优值能在满足下式的点上获得。
这里，β=E{W0Xg(W0X)}，是一个恒定值，W0是优化后的W值。下面我们利用牛顿迭代法解方程(4)。用F表示式(4)左边的函数，可得F的雅可比矩阵JF(W)如下：
JF(W)=E{XXTg′(WX)}-βI (5)
为了简化矩阵的求逆，可以近似为(5)式的第一项。对于白化数据，E{XXT}=I所以，E{XXTg′(WX)}≈E{XXT}·E{g′(WX)}=E{g′(WX)}I。因而雅可比矩阵变成了对角阵，易于求逆。因而可以得到下面的近似牛顿迭代公式：
这里，W*是W的新值，β=E{WXg(WX)}，规格化能提高解的稳定性。简化后就可以得到FastICA算法的迭代公式：
因此，对于白化数据，FastICA算法的基本步骤为：(1)选择一个初始权矢量(随机的)W；(2)令W*=E{Xg(WX)}-E{g′(WX)}-W；(3)令W=W*/‖W*‖；(4)假如不收敛的话，返回第2步。
FastICA算法和其他的ICA算法相比，有如下特性：①收敛速度快，通常快10到100倍；②和梯度算法不同，无须选步长参数，易于使用；③能利用任何的非线性函数g直接找出任何非高斯分布的独立分量。而对于其他的算法来说，概率密度函数的估计不得不首先进行，因而非线性必须被选择；④它的性能能够通过选择适当的非线性函数g来最佳化；⑤独立分量可被逐个估计出来，类似于做投影追踪，这在仅需要估计几个(不是全部)独立分量的情况下，能减小计算量；⑥FastICA算法有许多神经算法的优点：它是并行的、分布式的且计算简单，内存要求很少。
(二)Infomax算法[5]
该算法基于信息传输极大原则。可描述为：网络的输入端和输出端的互信息达到最大时，等价于输出端各分量间的冗余信息得到去除。1994年Nadal和Parga等人进一步说明：对于一个输出端具有非线性环节的神经网络，当经过该网络的信息传输达到最大时，输出端各分量之间的互信息便达到最小。算法的思路：对每个观测向量X(t)先通过线性变换求一个中间向量Y(t)=WX。然后通过非线性变换Zi=gi(Yi)求得输出向量Z(t)。根据互信息的性质可知：分量到分量的非线性映射gi(Yi)对互信息不产生任何影响，I(Z)的最小化也意味着I(Y)的最小化。于是针对Z(t)建立一个目标函数，通过学习求得一最佳的 使此目标函数达到极值，该 即是ICA的解。此思路是模仿单层前向神经网络，X和Z分别作为网络的输入和输出。Infomax算法的目标函数为：
(X)与W无关，可略去，采用相对梯度下降法对目标函数进行优化得到如下迭代公式：ΔW=η(I-φ(Y)YT)
但当源信号中同时包括超高斯和亚高斯信号时，由于非线性函数与源信号的概率密度函数严重不匹配，导致网络无法收敛到一个稳定的值，Infomax算法将不能完成正确的分离任务。鉴于此，Lee等人在这个基础上提出了扩展的ICA(extended ICA)算法，使得该算法能适合于包括具有超高斯和亚高斯在内的绝大多数分布类型信源的盲源分离。其迭代公式为：
(三)互信息最小算法
互信息是盲源分离算法里的一个规范的目标函数。不同的ICA算法有不同的目标函数，但一般都是以输出信号的互信息最小为最终目的。但互信息最小算法比Infomax等其他一些算法具有更加严密的理论体系。
互信息最小算法的目标函数：
(四)最大似然算法
最大似然算法的目标函数为：
(X)与W无关，可略去，因此，采用相对梯度下降法对以上三个目标函数进行优化可得到同样形式的迭代公式。可见，这些看似不同的算法可以在信息论的理论框架下得到统一。
由于实际问题的复杂性，要发展一种通用ICA算法是十分困难的。紧密结合研究的具体问题，发展相应的特殊算法是一个值得努力的方向。
三、ICA的应用
ICA着眼于数据间的高阶统计特性的性质，使得它在一些应用上具有独特的优势。目前，在特征提取、医学信号处理、图像和语音信号处理等方面的应用成果充分显示了ICA的特点及非常重要的应用价值。下面，以在图像分离中的应用[6]来说明ICA方法的有效性：
实验中先选定三个128×256的图像信号作为源信号，如图1，图中的横坐标和纵坐标代表图像的象素。然后对三个源图像逐行扫描成一维信号，组成源信号矩阵，源信号矩阵乘以一个3×3维的随机混合矩阵，得到混合信号，如图2，再对混合信号采用FastICA算法进行分离，得到分离后的图像信号，如图3。
从实验中我们可以看出：分离出来的图像和源图像比较，虽然图像的次序发生了变换，但很好地接近了源图像，
这个结果说明，ICA方法是一种非常有效的信号处理方法。
四、结语
现实生活中，在复杂的背景环境中所接收的信号往往是由不同信源产生的多路信号的混合信号。通常混合信号不便于分析，需要加以分离，因此ICA具有很好的应用前景。用ICA算法解决信号处理问题的优点是：计算方法简单且具有等价变换性。其缺点是：ICA须满足如前所述的一些假设条件；此外，在ICA算法中对于源信号概率密度函数(pdf)的确定或学习始终是一个瓶颈性的难题。目前，ICA在国外发展迅速，但国内起步不久，有待更多的人投身其研究中。
参考文献
[1]杨行峻，郑君里，编著.人工神经网络与盲信号处理[M].北京：清华大学出版社，2003.
[2]A.Hyv.rinen and E.Oja.Independent Component Analysis: Algorithms and Applications. Neural Networks，2000，13(4-5):411~430.
[3]Hyv.rinen A，Oja E.fast fixed-point algorithm for independent component analysis.Neural Computation，1997，9(7):1483~1492.
[4]D.G.Luenberger.Optimization by Vector Space Methods.John Wiley&Sons，1969.
[5]Lee Te-Won，et al. Independent component analysis using an extended infomax algorithm for mixed sub-Gaussian and super-Gaussian sources，Neural computation，1999，11(2):409~433.
[6]吴小培，冯焕清，周荷琴，王涛，等.基于独立分量分析的图像分离技术及应用[J].中国图像图形学报，2001，6A(2):133~137.
作者简介：吴响容(1978— )，女，汉族，湖南涟源人，讲师，硕士学位，主要研究方向为模式识别。
注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”
关键词 独立分量分析 盲源分离 FastICA算法
中图分类号TP391.04文献标志码A
Independent Component Analysis Algorithm and Its Testing Application
Wu Xiang-rong (Zhejiang Technology Institute of Economy，Hangzhou 310018)
Abstract In this paper，the fundamental theory、algorithm and application is introduced.Analysised concretely the FastICA Algorithm and have an experiment on image seperation with the FastICA Algorithm.The experimental results demonstrate that ICA is an effective signal processing method.
Key-words Independent Component Analysis Blind Signal Separation FastICA Algorithm
独立分量分析(Independent Component Analysis，ICA)[1，2]是近年来发展起来的一种新的信号处理技术。它的基本含义是将多道观测信号按照统计独立的原则通过优化算法分解为若干独立成分。在大多数现实情况下，源信号为相互独立的非高斯信号，而观测信号则为源信号的线性组合信号，ICA就是在源信号和线性变换均不可知的情况下，从观测的混合信号中估计出源信号。ICA与传统的二阶方法(如主分量分析，奇异值分解等)相比，不仅可以去除各分量之间的一、二阶相关性，同时还具有发掘并去除数据间的高阶相关性的能力，使得输出分量相互独立，因此，ICA能更加全面揭示数据间的本质结构。正是因为这一点，ICA在许多方面对传统方法的重要突破使得其越来越成为信号处理中的一个极具潜力的分析工具。
一、ICA的线性模型
ICA的线性模型可以描述为： X(t)=AS(t)，M≥N (1)
其中S(t)=[S1(t)，…，Sn(t)]T是由N个未知的源信号Si(t)，i=1，…N构成的一个列向量，t是离散时刻，取值为0，1，2，…。A是一个M×N维矩阵，一般称为混合矩阵。X(t)=[X1(t)，…，XM(t)]T是由M个可观察信号Xi(t)，i=1，…M构成的列向量。ICA的问题是，对任何t，根据已知的X(t)在A未知的条件下求未知的S(t)。一般，ICA须满足以下几个假设条件：①各信号源Si(t)均为0均值、实随机变量，各源信号之间统计独立；②源信号数M与观察信号数N相同，即N=M，这时混合阵A是一个确定且未知的N×N维方阵；③各Si(t)的概率密度函数(pdf)中只允许有一个具有高斯分布；④各观察器引入的噪声很小，可以忽略不计；⑤关于各源信号的pdf即Pi(Si)，略有一些先验知识。
ICA的目的是获得一个N×N维反混合阵W=(wij)，使得：
Y(t)=WX(t)=WAS(t)(2)
若通过学习得以实现WA=I(I是N×N维单位阵) ，则Y(t)=S(t)，从而达到了源信号分离目标。但现实信号往往不能同时满足上述这些假设条件。近几年，许多学者都涉及了减弱这几个假设条件的ICA研究，提出了一些新的理论，如：非线性ICA；带噪声的ICA；信号有时间延时的混合；卷积和的情况；源的不稳定问题等。但这些理论还不够完善，许多问题还有待进一步研究解决。
二、ICA的算法
ICA以统计独立为基本原则，统计独立的衡量为ICA算法的关键。信息论中的互信息可用于衡量统计独立性。基于互信息最小化可构造多种目标函数。目标函数给定后，可采用经典算法进行优化，如梯度法、拟牛顿法等。目标函数的选取决定了ICA方法的统计特性(如一致性、鲁棒性)；而算法特性(收敛速度、内存要求)则取决于优化算法的选择。目前，主要ICA算法有：FastICA算法，Infomax算法，互信息最小算法，最大似然算法等。无论采用何种算法，必须先对观测数据进行白化处理，因白化处理可去除各观测信号之间的相关性。
(一)FastICA算法[3]
FastICA算法，又称固定点(Fixed-Point)算法，它以负熵最大(即非高斯性最大)作为一个搜寻方向，该算法采用了定点迭代的优化算法，收敛快且稳健。
由于计算微分熵需要知道Y的概率密度分布函数，这显然不切实际，一般采用负熵的近似公式：
其中，E[.]为均值运算；G[.]可取G1(u)=a1-1lgcos(a1u)，或G2(u)=-exp(-u2/2)等非线性函数。
FastICA算法的推导：这里，非高斯性用式(3)给出的负熵Ng(WX)的近似值来度量，WX的方差约束为1，对白化数据而言，这等于约束W的范数为1。WX的负熵的最大近似值能通过对E{G(WX)}进行优化来获得。根据Kuhn-Tucker[4]条件，在E{(WX)2}=‖W‖2=1的约束下，E{G(WX)}的最优值能在满足下式的点上获得。
这里，β=E{W0Xg(W0X)}，是一个恒定值，W0是优化后的W值。下面我们利用牛顿迭代法解方程(4)。用F表示式(4)左边的函数，可得F的雅可比矩阵JF(W)如下：
JF(W)=E{XXTg′(WX)}-βI (5)
为了简化矩阵的求逆，可以近似为(5)式的第一项。对于白化数据，E{XXT}=I所以，E{XXTg′(WX)}≈E{XXT}·E{g′(WX)}=E{g′(WX)}I。因而雅可比矩阵变成了对角阵，易于求逆。因而可以得到下面的近似牛顿迭代公式：
这里，W*是W的新值，β=E{WXg(WX)}，规格化能提高解的稳定性。简化后就可以得到FastICA算法的迭代公式：
因此，对于白化数据，FastICA算法的基本步骤为：(1)选择一个初始权矢量(随机的)W；(2)令W*=E{Xg(WX)}-E{g′(WX)}-W；(3)令W=W*/‖W*‖；(4)假如不收敛的话，返回第2步。
FastICA算法和其他的ICA算法相比，有如下特性：①收敛速度快，通常快10到100倍；②和梯度算法不同，无须选步长参数，易于使用；③能利用任何的非线性函数g直接找出任何非高斯分布的独立分量。而对于其他的算法来说，概率密度函数的估计不得不首先进行，因而非线性必须被选择；④它的性能能够通过选择适当的非线性函数g来最佳化；⑤独立分量可被逐个估计出来，类似于做投影追踪，这在仅需要估计几个(不是全部)独立分量的情况下，能减小计算量；⑥FastICA算法有许多神经算法的优点：它是并行的、分布式的且计算简单，内存要求很少。
(二)Infomax算法[5]
该算法基于信息传输极大原则。可描述为：网络的输入端和输出端的互信息达到最大时，等价于输出端各分量间的冗余信息得到去除。1994年Nadal和Parga等人进一步说明：对于一个输出端具有非线性环节的神经网络，当经过该网络的信息传输达到最大时，输出端各分量之间的互信息便达到最小。算法的思路：对每个观测向量X(t)先通过线性变换求一个中间向量Y(t)=WX。然后通过非线性变换Zi=gi(Yi)求得输出向量Z(t)。根据互信息的性质可知：分量到分量的非线性映射gi(Yi)对互信息不产生任何影响，I(Z)的最小化也意味着I(Y)的最小化。于是针对Z(t)建立一个目标函数，通过学习求得一最佳的 使此目标函数达到极值，该 即是ICA的解。此思路是模仿单层前向神经网络，X和Z分别作为网络的输入和输出。Infomax算法的目标函数为：
(X)与W无关，可略去，采用相对梯度下降法对目标函数进行优化得到如下迭代公式：ΔW=η(I-φ(Y)YT)
但当源信号中同时包括超高斯和亚高斯信号时，由于非线性函数与源信号的概率密度函数严重不匹配，导致网络无法收敛到一个稳定的值，Infomax算法将不能完成正确的分离任务。鉴于此，Lee等人在这个基础上提出了扩展的ICA(extended ICA)算法，使得该算法能适合于包括具有超高斯和亚高斯在内的绝大多数分布类型信源的盲源分离。其迭代公式为：
(三)互信息最小算法
互信息是盲源分离算法里的一个规范的目标函数。不同的ICA算法有不同的目标函数，但一般都是以输出信号的互信息最小为最终目的。但互信息最小算法比Infomax等其他一些算法具有更加严密的理论体系。
互信息最小算法的目标函数：
(四)最大似然算法
最大似然算法的目标函数为：
(X)与W无关，可略去，因此，采用相对梯度下降法对以上三个目标函数进行优化可得到同样形式的迭代公式。可见，这些看似不同的算法可以在信息论的理论框架下得到统一。
由于实际问题的复杂性，要发展一种通用ICA算法是十分困难的。紧密结合研究的具体问题，发展相应的特殊算法是一个值得努力的方向。
三、ICA的应用
ICA着眼于数据间的高阶统计特性的性质，使得它在一些应用上具有独特的优势。目前，在特征提取、医学信号处理、图像和语音信号处理等方面的应用成果充分显示了ICA的特点及非常重要的应用价值。下面，以在图像分离中的应用[6]来说明ICA方法的有效性：
实验中先选定三个128×256的图像信号作为源信号，如图1，图中的横坐标和纵坐标代表图像的象素。然后对三个源图像逐行扫描成一维信号，组成源信号矩阵，源信号矩阵乘以一个3×3维的随机混合矩阵，得到混合信号，如图2，再对混合信号采用FastICA算法进行分离，得到分离后的图像信号，如图3。
从实验中我们可以看出：分离出来的图像和源图像比较，虽然图像的次序发生了变换，但很好地接近了源图像，
这个结果说明，ICA方法是一种非常有效的信号处理方法。
四、结语
现实生活中，在复杂的背景环境中所接收的信号往往是由不同信源产生的多路信号的混合信号。通常混合信号不便于分析，需要加以分离，因此ICA具有很好的应用前景。用ICA算法解决信号处理问题的优点是：计算方法简单且具有等价变换性。其缺点是：ICA须满足如前所述的一些假设条件；此外，在ICA算法中对于源信号概率密度函数(pdf)的确定或学习始终是一个瓶颈性的难题。目前，ICA在国外发展迅速，但国内起步不久，有待更多的人投身其研究中。
参考文献
[1]杨行峻，郑君里，编著.人工神经网络与盲信号处理[M].北京：清华大学出版社，2003.
[2]A.Hyv.rinen and E.Oja.Independent Component Analysis: Algorithms and Applications. Neural Networks，2000，13(4-5):411~430.
[3]Hyv.rinen A，Oja E.fast fixed-point algorithm for independent component analysis.Neural Computation，1997，9(7):1483~1492.
[4]D.G.Luenberger.Optimization by Vector Space Methods.John Wiley&Sons，1969.
[5]Lee Te-Won，et al. Independent component analysis using an extended infomax algorithm for mixed sub-Gaussian and super-Gaussian sources，Neural computation，1999，11(2):409~433.
[6]吴小培，冯焕清，周荷琴，王涛，等.基于独立分量分析的图像分离技术及应用[J].中国图像图形学报，2001，6A(2):133~137.
作者简介：吴响容(1978— )，女，汉族，湖南涟源人，讲师，硕士学位，主要研究方向为模式识别。
注：“本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。”