基于残差神经网络的极端学习机算法研究

来源 :燕山大学 | 被引量 : 0次 | 上传用户:kill5678
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络是人工智能方向的重要分支,擅长处理各种各样的数据。神经网络的算法和模型多种多样,其中极端学习机是一个典型的浅层神经网络,擅长处理小型的分类和回归任务;卷积神经网络是一种典型的深层神经网络,擅长提取图像的特征,可以完成图像的分类和识别等任务。目前这些神经网络在诸多领域都取得了很大的成功。但是大多数神经网络都是不完美的,使用时都有一些缺陷。因此本文提出了两个改进的神经网络算法,并将两个改进后的网络进行结合,结合后的网络应用在图像分类数据集上表现出很好的性能。本文的具体研究成果和实际意义描述如下:(1)残差神经网络是目前广泛应用的一种卷积神经网络模型,它在基础卷积神经网络中增加了很多技巧进而能有更好的泛化性能。但是该网络还有很多可以改进的地方,本文针对残差神经网络进一步改善信息和梯度的传递,提出了全卷积多并联残差神经网络(Fully Convolutional Multi-parallel Residual Neural Network,FCM-Resnet),并将其应用在三个经典图像分类数据集上,通过与InceptionV3、Densenet121和Resnet等网络对比,该网络有更高的测试正确率。(2)虽然全卷积多并联残差神经网络进一步改善了网络的性能,但仍然有待改进的地方,本文提出了一种新的算法替代网络中的分类层。这个新算法是针对极端学习机中存在的网络受随机初始化的输入权值和隐层阈值影响较大等问题进行改进的,称为双向学习机(Bidirectional Learning Machine,BLM)。将改进后的算法与ELM、IELM和FLN等算法进行对比,BLM在分类和回归数据集有明显的优势。最后,为了进一步验证网络有效性,将BLM网络在现场采集的实际数据进行验证,与ELM和LSFLN相比表现出更好的泛化性能。(3)在FCM-Resnet和BLM基础上本文提出了一种组合算法——FCM-ResnetBLM。鉴于BLM的优越性,该组合算法利用BLM替代FCM-Resnet的分类层,进而提高网络的性能。最后在四个图像分类数据集上测试网络的分类效果,组合网络的分类正确率明显高于BLM等网络。
其他文献
在智能电网中,电力用户参与电力系统频率调节的主要方式是需求响应,自动发电控制(Automatic Generation Control,AGC)满足不断变化的用户电力需求,并使系统处于经济的运行状
一直以来,离子液体(ILs)的研究受到各个学科专家以及研究者的热爱与青睐。被称为“绿色溶剂”和“可设计溶剂”的ILs通过专家学者的研究,其研究成果广泛分布于各个与人类生产生
生物技术、纳米技术、单分子技术相结合的蛋白质纳米通道单分子分析技术已经成为跨学科研究的核心技术之一。以α-溶血素蛋白质七聚体α-HL分子为代表的纳米通道使这一技术在
近些年来,空间观测技术在卫星传感器、数据获取存储技术的进步带动下得到了快速发展,目前我们可以快速获取并存储海量的高分辨率遥感卫星图像,这些遥感图像已经成为我们人类
近年来,脉冲神经网络在智能计算领域的研究与应用越来越广泛,获得了研究者越来越多的关注。虽然脉冲神经网络的早期发展受到了传统人工神经网络的启发,但是其与传统人工神经
智能电网作为新一代电网,利用现代信息技术实现电力和信息的融合,智能电网能够以更有效的方式输送电力。信息通信技术在提高系统效率的同时,由于信息物理系统的复杂性的特点,
随着纳米材料及微机电系统的迅速发展,微流控技术在生物医学、化学分析和环境改善等方面呈现出广泛的应用前景。其中电渗流是通过外加电场驱动微液体在壁面上流动,形成扰动的
在如今的数据化时代,需要存储与共享的数据量急剧增长,所涉及到的用户也越来越多。用户在分享数据的同时,也更加重视数据的安全性及其访问控制,但传统的密文检索方式无法提供
由于全球能源消耗的不断增长和传统自然资源的日渐耗竭,人们对可持续能源转换和储存设备的需求不断提高。目前,各种能源设备如燃料电池、空气电池、太阳能电池和超级电容器等
每时每刻通过各类APP产生的大量数据,造就了大数据时代的超速发展。要想发现数据背后隐藏的价值,就需要在数据发布之后通过数据挖掘来发现。但与此同时也增加了个人隐私泄露