论文部分内容阅读
摘要：近年，人们越来越对人工智能产生兴趣，越来越多的科研人员尝试着将hopfield神经网络在很多方面运用，这是一门能够解决很多传统方法不能够解决的问题，如水的质量评价，发电机运行状态，项目风险预测等。不同领域的人们，正在利用离散型hopfield神经网络具有的联想记忆的功能来发掘新的思想和新的方法。人类的进化归根是很多智能科技的进化。而智能科学反过来对人类的发展起到很大的作用。我们学习智能的数字识别和智能的控制，目的就是帮助人类的进步而服务。因此，对智能科学的期待和发展以及应用，是我们人类发展和科学进步的必然结果。
关键词：离散型hopfield;数字识别;联想记忆;工具箱函数
1.案例背景
1.1项目需求分析
在日常生活中，经常会遇到带噪声影响的字符辨别问题，如交通系统中汽车的车牌模糊不清，由于汽车在行驶过程中，要经受自然环境的风吹日晒，造成字体不够清晰，不能够辨别清楚。作为字符识别的一部分，数字识别在银行，交通及企业票据管理方面有着很方便的应用。目前，人工神经网络已经在我国的科学研究，企业生产和生活中有很大的影响。人工神经网络作为生物进化论的一个成果，其延伸到各个工程领域，并吸引不同领域的专家在这方面的研究和开发，目前有很多种方法用于字符识别，主要分为神经网络的识别，概率统计识别和模糊识别等。传统的数字识别方法在有干扰的情况下不能够很好的对数字识别，而离散型hopfield神经网络具有联系记忆的功能，利用这一功能对数字进行识别可以取得令人满意的效果，并且计算的收敛速度很快。
1.2离散hopfield神经网络概述
Hopfield网络是神经网络研究上的一个重要的阶段。其曾经为人工神经网络开辟了新的天地，Hopfield神经网络属于反馈神经网络类型。与前向型神经网络不同，前向神经网络不考虑输出与输入之间在时间上的滞后影响，其输出与输入之间仅仅是一种映射关系。而Hopfield网络则不同，它采用反馈连接，考虑输出与输入在时间上的传输延迟，会不断的产生动态變化，其输出反馈到输入而产生新的输出，就这样，反馈一直进行，一直到达到的稳定的平衡状态。Hopfield网络作为一种全连接型的神经网络。为人工神经网络的研究进程开辟了新的方法。由于它与阶层型神经网络不同的特性和学习方法，模拟生物的神经的记忆功能，获得了突破性的进展。Hopfield网络有离散型和连续型两种形式。我们主要研究的是离散型hopfield网络。因为离散型hopfield网络的结构简单，方便操作，在人们的生活中应用比较广泛。
1.2.1 离散hopfield神经网络结构
DHNN是一种单层，输出为二值的反馈网络。由三个神经元组成的离散hopfield神经网络的结构。其中第0层作为网络的输入，它不是神经元，所以没有计算的功能，第1层是神经元，因此它能够执行对输入信息与权系数的乘积求累加和，经过非线性函数f处理后产生输出的信息，f是一个简单的阀值函数，如果神经元的输出信息大于阀值X，神经元的输出的结果取为1，如果小于阀值X，则神经元的输出结果为-1.
1.2.2 网络的工作方式
Hopfield网络按物理学中的能量定理演变发展，其工作的状态为神经元状态的变化过程，既从开始的状态按“能量”逐渐减小的方向进行发展，直到达到系统达到稳定的状态，稳定状态时其输出的结果即为网络的输出。Hopfield网络的工作方式主要有两种形式：①.串行工作方式。在任意的状态，只有某一个神经元发生变化，其他神经元的状态不会进行变化。②.并行工作方式：在任意的状态，部分神经元或全部神经元的状态同时发生变化。举例：串行工作方式的hopfield网络的运行步骤：步骤一：对网络进行初始化。步骤二：从网络中随机选取一个神经元i。步骤三：计算该神经元i的输入U（t）。步骤四：计算该神经元i的输出V（t+1），此时网络中其他神经元的状态输出保持不变。步骤五：判断是否达到稳定的状态，若达到稳定状态则结束，如果没有稳定则转到步骤二继续运行。
1.3 项目方案的数字识别概况
对于数字识别，目前有很多的技术，一般的数字识别方法在不太清晰的情况下不能很好地对数字进行识别，而离散型hopfield神经网络可以利用联想记忆的功能，利用这一功能对数字进行识别可以取得非常好的效果，并且识别的速度很快。数字识别是字符识别的一部分，数字识别在人们的生活普遍存在，对人们的生活有很大的帮助。随着时代的发展，神经网络识别技术发展很快，由于其本身有非常好的应用价值的特性而逐渐受到重视。目前，对印刷体的识别情况已经非常的好了，而手写体字符由于书写者的因素，使得字符图像不确定的因素很多，比如字体的清晰度，数字的规范度，手写体的类型和局部扭曲等，对数字识别的挑战性非常大。因此，我们应该多加研究，争取能够突破数字识别的局限性，为人类进步发展做出突破性的的改变。
1.4 Hopfield网络演示
应用离散型的Hopfield 网络建立，先将非线性的原始数据取出一部分用来构成训练网络的样本，再将一部分用来检验网络的性能，构成检验样本。从而将连接权值固定，构成一个稳定的识别模型，达到识别的目的。先举一个单输入单输出的问题，目的是希望相同的输入进入到函数与神经网络，得到的输出值要相同，首先将 X = 1，2，3，Λ100代入函数中，我们会得到 100 组的 y 值，取 X = 1，3，5，Λ，99共 50 个数据作为训练样本，X = 2，4，6，Λ，100共 50 个数据作为测试样本，在神经网络未训练前，所得到的结果如图1所示：绿线代表实际的输出，而红线代表神经网络的输出，神经网络未训练前，由于初始的权值是由随即产生的，因此当训练样本的输入进入网络时，神经网络的输出是凌乱的，随着训练次数的增加，权值逐渐的被调整，使得红线的部分逐渐的与绿线符合，图2是神经网络训练20次的结果：由于在神经网络的训练的过程中，训练样本不断的提供神经网络正确的输出值作为参考，使得神经网络的输出逐渐的与实际的输出相同，当神经网络训练2000次时，由图3可看出神经网络的输出与系统的输出几乎相同，此时就可以停止训练，而适合此函数的权值就被记录下来：当神经网络训练完成后，神经网络便可以取代原来这个函数。换句话说，此神经网络的输出与真实的函数相同。图4表示神经网络训练过程中价值函数的变化情形，价值函数是神经网络收敛的指标，会随着网络的训练越来越小，最后几乎不再有变化，此时就可以判定次神经网络训练完成。 1.5 项目的问题描述
目前，在交通管理中，由于天气的原因造成对很多时候监控下拍的图片不是很清晰，尤其是有污渍的车牌很难看清，因此对于很多违反交通规则的一些车辆很难进行查出，为了能够更方便我们的生活，我们利用hopfield神经网络的一些特性，设计一个具有联想记忆功能的离散型hopfield神经网络。要求该网络可以正确的识别数字，当数字被影响后，仍具有较好的把数字识别出来。
2 项目的模型建立
2.1 设计的思路
假设网络由0～9共10个稳态构成，可以记忆很多的数字，每个稳态用10*10的矩阵表示。该矩阵用于模拟阿拉伯数字的样本，就是把数字划分成很多的小方块，每个小方块可以对应一定的数字，不同颜色的单元用1 和-1 表示，网络对相关点阵具有联想记忆的功能，当有受一定干扰的数字点阵输入到该网络时，网络的输出便可以得到最接近的稳态，从而达到数字辨别的目的。
2.2 网络建立
利用newhop（）函数可以方便地创建一个离散型Hopfield神經网络。
2.2.1 产生带噪声的数字点阵
常见的模拟产生带噪声数字的方法有两种：固定噪声法和随机噪声法。固定噪声法指的是改变数字点阵某些特定位置的数值，是人工操作的，从而达到产生带噪声的数字点阵的效果。如果希望噪声更加的复杂多变的话，就需要人工多次修改特定值，这样会比较繁琐的。相比较而言，随机噪声产生法可以更加方便地产生不同类型的带干扰的数字样本。随机噪声产生法是利用产生随机数的方法来确定需要修改的点阵位置，进而引起对样本的修改。由于数字点阵中的值只有1和-1两种，所以这里修改会比较方便，比较容易操作。
2.3 实验结果与分析
将带干扰的数字样本输入已创建好的网络中，经过运行后，便可对带干扰的数字样本进行识别，这里识别的结果是以数字点阵的形式呈现出来。为了能够更加直观地看到实验的效果，我们用程图形的形式呈现呈现出来，如图所示。图7所示的是噪声强度为0.1（即10%的数字点阵位置值发生变化）时的识别效果。从图8中可以看出，识别的情况还不错。进一步的研究发现，随着干扰强度的增加识别效果逐渐不强。噪声强度为0.2和0.3时的识别结果分别如图8和图9所示。从图中可以很直观的看到，当噪声强度为0.3时，Hopfield已经很难对数字进行识别了。
3.结论
通过对实验结果的分析，可以得出结论：对于带一定干扰的数字样本，Hopfield网络可以正确地进行数字辨别。联想记忆必须要有一定的存储容量，同时是当代技术可以实现的，同时也要有一定的容错率，只有这三个方面统一起来，才能使神经网络的联想记忆能力更强，应用的范围更加的广阔。联想记忆网络只有扩展容错率，极高其储存容量，才能够更好的进行识别，为此，我们可以从系统的控制中来进行改进，调节系统的动力学特性，并调节系统的学习算法，要设定一个适合各种样本的最好方法是不太容易的，因此，可以利用神经网络的优点，用训练的方法找出最优解，进而提高系统的储存容量。从而能够更高精度的对样本进行辨别，开拓了各个领域的发展，能够更好的服务于人们。
作者简介：
张林强（1990.8-），男，汉族，籍贯：河南驻马店，郑州理工职业学院，教师，助教，助理工程师，本科，专业：自动化，主要研究方向：电气工程和思想政治研究
（作者单位：郑州理工职业学院）
关键词：离散型hopfield;数字识别;联想记忆;工具箱函数
1.案例背景
1.1项目需求分析
在日常生活中，经常会遇到带噪声影响的字符辨别问题，如交通系统中汽车的车牌模糊不清，由于汽车在行驶过程中，要经受自然环境的风吹日晒，造成字体不够清晰，不能够辨别清楚。作为字符识别的一部分，数字识别在银行，交通及企业票据管理方面有着很方便的应用。目前，人工神经网络已经在我国的科学研究，企业生产和生活中有很大的影响。人工神经网络作为生物进化论的一个成果，其延伸到各个工程领域，并吸引不同领域的专家在这方面的研究和开发，目前有很多种方法用于字符识别，主要分为神经网络的识别，概率统计识别和模糊识别等。传统的数字识别方法在有干扰的情况下不能够很好的对数字识别，而离散型hopfield神经网络具有联系记忆的功能，利用这一功能对数字进行识别可以取得令人满意的效果，并且计算的收敛速度很快。
1.2离散hopfield神经网络概述
Hopfield网络是神经网络研究上的一个重要的阶段。其曾经为人工神经网络开辟了新的天地，Hopfield神经网络属于反馈神经网络类型。与前向型神经网络不同，前向神经网络不考虑输出与输入之间在时间上的滞后影响，其输出与输入之间仅仅是一种映射关系。而Hopfield网络则不同，它采用反馈连接，考虑输出与输入在时间上的传输延迟，会不断的产生动态變化，其输出反馈到输入而产生新的输出，就这样，反馈一直进行，一直到达到的稳定的平衡状态。Hopfield网络作为一种全连接型的神经网络。为人工神经网络的研究进程开辟了新的方法。由于它与阶层型神经网络不同的特性和学习方法，模拟生物的神经的记忆功能，获得了突破性的进展。Hopfield网络有离散型和连续型两种形式。我们主要研究的是离散型hopfield网络。因为离散型hopfield网络的结构简单，方便操作，在人们的生活中应用比较广泛。
1.2.1 离散hopfield神经网络结构
DHNN是一种单层，输出为二值的反馈网络。由三个神经元组成的离散hopfield神经网络的结构。其中第0层作为网络的输入，它不是神经元，所以没有计算的功能，第1层是神经元，因此它能够执行对输入信息与权系数的乘积求累加和，经过非线性函数f处理后产生输出的信息，f是一个简单的阀值函数，如果神经元的输出信息大于阀值X，神经元的输出的结果取为1，如果小于阀值X，则神经元的输出结果为-1.
1.2.2 网络的工作方式
Hopfield网络按物理学中的能量定理演变发展，其工作的状态为神经元状态的变化过程，既从开始的状态按“能量”逐渐减小的方向进行发展，直到达到系统达到稳定的状态，稳定状态时其输出的结果即为网络的输出。Hopfield网络的工作方式主要有两种形式：①.串行工作方式。在任意的状态，只有某一个神经元发生变化，其他神经元的状态不会进行变化。②.并行工作方式：在任意的状态，部分神经元或全部神经元的状态同时发生变化。举例：串行工作方式的hopfield网络的运行步骤：步骤一：对网络进行初始化。步骤二：从网络中随机选取一个神经元i。步骤三：计算该神经元i的输入U（t）。步骤四：计算该神经元i的输出V（t+1），此时网络中其他神经元的状态输出保持不变。步骤五：判断是否达到稳定的状态，若达到稳定状态则结束，如果没有稳定则转到步骤二继续运行。
1.3 项目方案的数字识别概况
对于数字识别，目前有很多的技术，一般的数字识别方法在不太清晰的情况下不能很好地对数字进行识别，而离散型hopfield神经网络可以利用联想记忆的功能，利用这一功能对数字进行识别可以取得非常好的效果，并且识别的速度很快。数字识别是字符识别的一部分，数字识别在人们的生活普遍存在，对人们的生活有很大的帮助。随着时代的发展，神经网络识别技术发展很快，由于其本身有非常好的应用价值的特性而逐渐受到重视。目前，对印刷体的识别情况已经非常的好了，而手写体字符由于书写者的因素，使得字符图像不确定的因素很多，比如字体的清晰度，数字的规范度，手写体的类型和局部扭曲等，对数字识别的挑战性非常大。因此，我们应该多加研究，争取能够突破数字识别的局限性，为人类进步发展做出突破性的的改变。
1.4 Hopfield网络演示
应用离散型的Hopfield 网络建立，先将非线性的原始数据取出一部分用来构成训练网络的样本，再将一部分用来检验网络的性能，构成检验样本。从而将连接权值固定，构成一个稳定的识别模型，达到识别的目的。先举一个单输入单输出的问题，目的是希望相同的输入进入到函数与神经网络，得到的输出值要相同，首先将 X = 1，2，3，Λ100代入函数中，我们会得到 100 组的 y 值，取 X = 1，3，5，Λ，99共 50 个数据作为训练样本，X = 2，4，6，Λ，100共 50 个数据作为测试样本，在神经网络未训练前，所得到的结果如图1所示：绿线代表实际的输出，而红线代表神经网络的输出，神经网络未训练前，由于初始的权值是由随即产生的，因此当训练样本的输入进入网络时，神经网络的输出是凌乱的，随着训练次数的增加，权值逐渐的被调整，使得红线的部分逐渐的与绿线符合，图2是神经网络训练20次的结果：由于在神经网络的训练的过程中，训练样本不断的提供神经网络正确的输出值作为参考，使得神经网络的输出逐渐的与实际的输出相同，当神经网络训练2000次时，由图3可看出神经网络的输出与系统的输出几乎相同，此时就可以停止训练，而适合此函数的权值就被记录下来：当神经网络训练完成后，神经网络便可以取代原来这个函数。换句话说，此神经网络的输出与真实的函数相同。图4表示神经网络训练过程中价值函数的变化情形，价值函数是神经网络收敛的指标，会随着网络的训练越来越小，最后几乎不再有变化，此时就可以判定次神经网络训练完成。 1.5 项目的问题描述
目前，在交通管理中，由于天气的原因造成对很多时候监控下拍的图片不是很清晰，尤其是有污渍的车牌很难看清，因此对于很多违反交通规则的一些车辆很难进行查出，为了能够更方便我们的生活，我们利用hopfield神经网络的一些特性，设计一个具有联想记忆功能的离散型hopfield神经网络。要求该网络可以正确的识别数字，当数字被影响后，仍具有较好的把数字识别出来。
2 项目的模型建立
2.1 设计的思路
假设网络由0～9共10个稳态构成，可以记忆很多的数字，每个稳态用10*10的矩阵表示。该矩阵用于模拟阿拉伯数字的样本，就是把数字划分成很多的小方块，每个小方块可以对应一定的数字，不同颜色的单元用1 和-1 表示，网络对相关点阵具有联想记忆的功能，当有受一定干扰的数字点阵输入到该网络时，网络的输出便可以得到最接近的稳态，从而达到数字辨别的目的。
2.2 网络建立
利用newhop（）函数可以方便地创建一个离散型Hopfield神經网络。
2.2.1 产生带噪声的数字点阵
常见的模拟产生带噪声数字的方法有两种：固定噪声法和随机噪声法。固定噪声法指的是改变数字点阵某些特定位置的数值，是人工操作的，从而达到产生带噪声的数字点阵的效果。如果希望噪声更加的复杂多变的话，就需要人工多次修改特定值，这样会比较繁琐的。相比较而言，随机噪声产生法可以更加方便地产生不同类型的带干扰的数字样本。随机噪声产生法是利用产生随机数的方法来确定需要修改的点阵位置，进而引起对样本的修改。由于数字点阵中的值只有1和-1两种，所以这里修改会比较方便，比较容易操作。
2.3 实验结果与分析
将带干扰的数字样本输入已创建好的网络中，经过运行后，便可对带干扰的数字样本进行识别，这里识别的结果是以数字点阵的形式呈现出来。为了能够更加直观地看到实验的效果，我们用程图形的形式呈现呈现出来，如图所示。图7所示的是噪声强度为0.1（即10%的数字点阵位置值发生变化）时的识别效果。从图8中可以看出，识别的情况还不错。进一步的研究发现，随着干扰强度的增加识别效果逐渐不强。噪声强度为0.2和0.3时的识别结果分别如图8和图9所示。从图中可以很直观的看到，当噪声强度为0.3时，Hopfield已经很难对数字进行识别了。
3.结论
通过对实验结果的分析，可以得出结论：对于带一定干扰的数字样本，Hopfield网络可以正确地进行数字辨别。联想记忆必须要有一定的存储容量，同时是当代技术可以实现的，同时也要有一定的容错率，只有这三个方面统一起来，才能使神经网络的联想记忆能力更强，应用的范围更加的广阔。联想记忆网络只有扩展容错率，极高其储存容量，才能够更好的进行识别，为此，我们可以从系统的控制中来进行改进，调节系统的动力学特性，并调节系统的学习算法，要设定一个适合各种样本的最好方法是不太容易的，因此，可以利用神经网络的优点，用训练的方法找出最优解，进而提高系统的储存容量。从而能够更高精度的对样本进行辨别，开拓了各个领域的发展，能够更好的服务于人们。
作者简介：
张林强（1990.8-），男，汉族，籍贯：河南驻马店，郑州理工职业学院，教师，助教，助理工程师，本科，专业：自动化，主要研究方向：电气工程和思想政治研究
（作者单位：郑州理工职业学院）