论文部分内容阅读
信息几何是借助黎曼几何等数学工具来研究信息领域问题的学科.在解决非线性问题的过程中,传统的方法一味地将非线性问题线性化,但并不能得到令人满意的精度,因此用几何手段处理非线性问题的方法应运而生.不仅如此,信息几何还广泛地应用于神经网络、统计推断、统计物理、机器学习和流形学习等新兴领域.从其发展历程看,信息几何经历了从经典信息几何到矩阵信息几何的发展.但由于其作为一个刚开始发展的新兴交叉学科,并不为很多数学工作者所知.本文以孙华飞所著之《信息几何导论》以及Amari的《Information Geometry and Its Applications》和《Methods of Information Geometry》为参考,旨在介绍经典信息几何若干重要的框架以及笔者读书注记,使得读者初窥信息几何概要.在经典信息几何中,我们把概率密度函数全体视作一个统计流形.在此流形上,每一个概率密度函数视为一个点.统计流形上的Riemann度量由Fisher信息矩阵给出.因此,此统计流形变为Riemann流形.在统计流形上引入α—联络作为其求导方式对研究此流形带来很大便利.由于α—联络和—α—联络互为对偶联络,故它们保证了α—联络的无挠性.指数分布族和混合分布族是重要的两大分布族,在指数分布族几何量的计算中α—联络起了重要作用.当α=±1时,指数分布族流形是平坦流形.在±1平坦的流形上可以引入Kullback—Leiblier散度来衡量两点之间的距离,该散度只满足非负性,并不满足三角不等式以及对称性.另外,本文还介绍了信息几何的一些应用如自然梯度算法和熵动力模型的相关内容.自然梯度算法相比标准梯度具有Fisher有效性,能达到更高的精度.信息几何在熵动力模型中有很大应用,可以利用熵动力模型所对应的Jacobi场的稳定性来说明熵动力模型的稳定性.本文通过比较定理对Jacobi场模长进行估计,得到ED模型呈线性增长发散,避免了复杂的计算.