论文部分内容阅读
摘 要：本文首先给出了马尔可夫信源及其极限熵的定义，然后通过一个实例详细解析了马尔可夫信源极限熵的求解方法，最后对马尔可夫信源特点及其极限熵的求解步骤进行了总结。
关键词：马尔可夫信源；极限熵；极限概率
信源是什么？通俗的说，信源就是信息的来源。在我们现实生活中，信源无处不在，文字、声音、图像、数据……。在信息论与编码理论中，把信源统一定义为产生消息符号、消息符号序列、或产生连续消息的来源，在数学上表示，信源则是产生随机變量X，随机序列X或随机过程x（t）源。若信源在不同的时刻发出的符号或符号序列之间有相互依赖关系，这类信源称为有记忆信源。通常，符号之间的相关性用联合概率或条件概率来描述。但是，当信源发出的某个符号只与这个符号之前的一个符号或之前的多个符号有关，而与更前面的符号无关时，我们可把它视为一种特殊的有记忆信源，即马尔可夫信源。
1 马尔可夫信源
⑴马尔可夫信源。我们说实际的信源一般都是有记忆的信源，而且这种有记忆信源在任一时刻发出符号的概率通常只与前面若干个符号有关，而与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。若信源输出的符号序列和状态序列满足下述的两个条件：某一时刻 信源的输出仅与信源的当前状态有关；信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。我们称这样的信源为马尔可夫信源。
⑵马尔可夫信源的极限熵。若信源以长度为N输出符号序列，则信源的平均符号熵为 ，其中 是信源的矢量熵。当N→∞时， ，此时称 为信源的极限熵。极限熵是真正描述实际信源熵的表达方式。它规定了平稳离散有记忆信源输出符号序列中平均每个信源符号的熵值，代表了一般离散有记忆信源平均每发出一个符号所提供的信息量。事实上，当信源记忆长度很长，趋于无穷大的时候，要计算联合熵或极限熵是很困难的，它需要测定信源的无穷阶联合概率和条件概率，这是很难达到的，因此，我们在实际计算时，我们往往只考虑有限记忆信源的熵，用有限的条件熵或平均符号熵作为极限熵的近似值。
m阶马尔可夫信源极限熵的计算公式为：
由此可见，当信源是有记忆m阶的马尔可夫信源时，我们用条件熵作为极限熵的近似值。而求解条件熵 的关键就是要得到马尔可夫信源稳定后（N→∞）各个状态的极限概率。
2 马尔可夫信源极限熵求解案例分析
极限熵 并不是在任何情况下都存在。通常，对于一个n元m阶的马尔可夫信源，只有在平稳状态下，各个状态的状态极限概率都存在时，才可以计算出极限熵。因此，求解马尔可夫信源的极限熵关键在于如何求解马尔可夫信源稳定后各个状态的极限概率。下面，就以一个案例来说明马尔可夫信源的极限熵的求解方法。
举例：设有二元2阶马尔可夫信源，其原始信源X的符号集为{x1=0，x2=1}，其状态转移图如下图所示，求该马尔可夫信源的极限熵。
解：（1）首先求解各状态极限概率
由题意可得，该信源状态空间共有4种不同的状态e1，e2，e3，e4，即E∈{e1=00，e2=01，e3=10，e4=11}，由图可知信源的一步转移概率为：
这样二元2阶信源X∈{0，1}得到的状态空间{e1，e2，e3，e4}和相应的一步转移概率构成的2阶马尔可夫信源模型为：
求解以上方程组，则可算出该信源的状态极限概率为：
各个极限概率满足：
（2）求解该信源的极限熵
计算出该马尔可夫信源的状态极限概率后，根据状态转移图提供的一步转移概率，我们就可以计算出这个2阶马尔可夫信源的极限熵 了。
3 总结
马尔可夫信源属于有记忆信源，当信源在某个状态时，只取决于这个时刻发出的符号与之此时刻之前的符号状态有关。马尔可夫信源不同于一般有记忆信源之处在于它用符号之间的转移概率来描述符号间的关联性，即马尔可夫是以转移概率发出每个信源符号的。计算马尔可夫信源的极限熵时，首先要考虑该信源的极限熵是否存在，若极限熵存在，则需先计算出该信源各个符号状态的极限概率，再根据极限概率和转移概率求出极限熵。通过计算极限熵，我们可以计算出信源存在的冗余度，为信源的编码奠定基础。
[参考文献]
[1]陈运.信息论与编码.北京：电子工业出版社，2009.
[2]张旭东，等.图像编码基础和小波压缩技术.北京：清华大学出版社，2004.
[3]吴家安，等.语音编码技术及应用.北京：机械工业出版社，2006.
[4]钟家恺.通信原理教程.北京：科学出版社，2003.
[5]钟玉琢.多媒体技术基础与应用.北京：清华大学出版社，2008.
关键词：马尔可夫信源；极限熵；极限概率
信源是什么？通俗的说，信源就是信息的来源。在我们现实生活中，信源无处不在，文字、声音、图像、数据……。在信息论与编码理论中，把信源统一定义为产生消息符号、消息符号序列、或产生连续消息的来源，在数学上表示，信源则是产生随机變量X，随机序列X或随机过程x（t）源。若信源在不同的时刻发出的符号或符号序列之间有相互依赖关系，这类信源称为有记忆信源。通常，符号之间的相关性用联合概率或条件概率来描述。但是，当信源发出的某个符号只与这个符号之前的一个符号或之前的多个符号有关，而与更前面的符号无关时，我们可把它视为一种特殊的有记忆信源，即马尔可夫信源。
1 马尔可夫信源
⑴马尔可夫信源。我们说实际的信源一般都是有记忆的信源，而且这种有记忆信源在任一时刻发出符号的概率通常只与前面若干个符号有关，而与更前面的符号无关，因此我们可以认为信源在某一时刻发出的符号与信源的状态有关。若信源输出的符号序列和状态序列满足下述的两个条件：某一时刻 信源的输出仅与信源的当前状态有关；信源的状态只由当前的输出符号和前一时刻信源状态唯一确定。我们称这样的信源为马尔可夫信源。
⑵马尔可夫信源的极限熵。若信源以长度为N输出符号序列，则信源的平均符号熵为 ，其中 是信源的矢量熵。当N→∞时， ，此时称 为信源的极限熵。极限熵是真正描述实际信源熵的表达方式。它规定了平稳离散有记忆信源输出符号序列中平均每个信源符号的熵值，代表了一般离散有记忆信源平均每发出一个符号所提供的信息量。事实上，当信源记忆长度很长，趋于无穷大的时候，要计算联合熵或极限熵是很困难的，它需要测定信源的无穷阶联合概率和条件概率，这是很难达到的，因此，我们在实际计算时，我们往往只考虑有限记忆信源的熵，用有限的条件熵或平均符号熵作为极限熵的近似值。
m阶马尔可夫信源极限熵的计算公式为：
由此可见，当信源是有记忆m阶的马尔可夫信源时，我们用条件熵作为极限熵的近似值。而求解条件熵 的关键就是要得到马尔可夫信源稳定后（N→∞）各个状态的极限概率。
2 马尔可夫信源极限熵求解案例分析
极限熵 并不是在任何情况下都存在。通常，对于一个n元m阶的马尔可夫信源，只有在平稳状态下，各个状态的状态极限概率都存在时，才可以计算出极限熵。因此，求解马尔可夫信源的极限熵关键在于如何求解马尔可夫信源稳定后各个状态的极限概率。下面，就以一个案例来说明马尔可夫信源的极限熵的求解方法。
举例：设有二元2阶马尔可夫信源，其原始信源X的符号集为{x1=0，x2=1}，其状态转移图如下图所示，求该马尔可夫信源的极限熵。
解：（1）首先求解各状态极限概率
由题意可得，该信源状态空间共有4种不同的状态e1，e2，e3，e4，即E∈{e1=00，e2=01，e3=10，e4=11}，由图可知信源的一步转移概率为：
这样二元2阶信源X∈{0，1}得到的状态空间{e1，e2，e3，e4}和相应的一步转移概率构成的2阶马尔可夫信源模型为：
求解以上方程组，则可算出该信源的状态极限概率为：
各个极限概率满足：
（2）求解该信源的极限熵
计算出该马尔可夫信源的状态极限概率后，根据状态转移图提供的一步转移概率，我们就可以计算出这个2阶马尔可夫信源的极限熵 了。
3 总结
马尔可夫信源属于有记忆信源，当信源在某个状态时，只取决于这个时刻发出的符号与之此时刻之前的符号状态有关。马尔可夫信源不同于一般有记忆信源之处在于它用符号之间的转移概率来描述符号间的关联性，即马尔可夫是以转移概率发出每个信源符号的。计算马尔可夫信源的极限熵时，首先要考虑该信源的极限熵是否存在，若极限熵存在，则需先计算出该信源各个符号状态的极限概率，再根据极限概率和转移概率求出极限熵。通过计算极限熵，我们可以计算出信源存在的冗余度，为信源的编码奠定基础。
[参考文献]
[1]陈运.信息论与编码.北京：电子工业出版社，2009.
[2]张旭东，等.图像编码基础和小波压缩技术.北京：清华大学出版社，2004.
[3]吴家安，等.语音编码技术及应用.北京：机械工业出版社，2006.
[4]钟家恺.通信原理教程.北京：科学出版社，2003.
[5]钟玉琢.多媒体技术基础与应用.北京：清华大学出版社，2008.