基于双曲正切函数的修正线性单元

来源 :计算机集成制造系统 | 被引量 : 0次 | 上传用户：zwj_10061

【摘要】

：

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于ta

【作者】

：

刘坤华钟佩思徐东方夏强刘梅

【机构】

：

山东科技大学先进制造技术研究中心

【出处】

：

计算机集成制造系统

【发表日期】

：

2020年1期

【关键词】

：

激活函数双曲正切函数修正线性单元泄露修正线性单元指数线性单元深度学习 activation functiontangentrectified line

【基金项目】

：

国家自然科学基金资助项目(51375282),山东省重点研发计划资助项目(2018GGX106001),山东省高等学校科学技术计划资助项目(J18KA009,J16LB58),山东科技大学研究生科技创新资助项目(SDKDYC180334,SDKDYC180329)

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的

其他文献

大型复杂雕塑型面钢架特征曲线快速设计方法

为解决复杂雕塑型面钢架的特征曲线快速设计问题,基于几何约束建立设计问题的数学模型,并完成了数学问题的求解;针对特征曲线分支和多孤立图形的问题,采用广度优先遍历算法对

期刊

复杂雕塑型面型面钢架特征曲线广度优先遍历几何约束多段线程序法建模sculpture surfacesurface steel framechara

课程整合与综合项目教学法相结合的实践

[摘要]以综合项目为主线，对高职《网络技术》课程进行课程整合，既能培养学生的综合应用力，又能培养学生实际工作能力，有效培养社会急需的实用型人才。　　[关键词]课程整合　综合项目　项目教学法　教学实践　　　　高等职业教育的根本任务是培养适应现代化建设需要的高技能专门人才和高素质劳动者，培养面向生产和社会实践第一线的实用人才，强调实践能力的培养是高职教育的显著特征。面对市场日益激烈的竞争，如何才能使学

期刊

课程整合综合项目项目教学法教学实践

浅谈中学生逆反心理的成因及对策

逆反心理是一种特殊的反对态度，指个体在接受外来的教育、规范、制约等刺激影响的过程中所产生的一种与大多数人对立、与常理相悖的心理状态或情绪反应。它是一种内心的反向力量，对教育者有明显的“反控制”和“对抗”心理。中学生的逆反心理如果不加以有效地应对，对于学生的成长是极其不利的。以下笔者就初中生产生逆反心理的原因以及应对的策略谈谈自己的看法。　　　　一、逆反心理产生的原因　　　　中学生出现逆反心理的原因

期刊

学生逆反心理成因情绪反应心理状态教育者反控制中学生初中生

经典诵读：夯实师生的人文素养基础

桂平市城西小学从2004年秋季期开始启动经典诵读活动，这项活动从一开始便受到全校师生的热烈欢迎，显示出中国优秀传统文化的巨大魅力。　　中华五千年文明留下了博大精深的优秀传统文化，其重要代表就是《大学》、《中庸》、《论语》、《老子》、《易经》、《孟子》等经典名著。这些经典是我们民族心灵的结晶，是我们民族的最高智慧，是我们民族生存发展的思想根基和相互联系的精神纽带。当前教育界倡导诵读经典，这是传承中华

期刊

诵读活动人文素养师生中国优秀传统文化城西小学桂平市

基于双曲正切函数的修正线性单元

与本文相关的学术论文