基于自适应学习率优化的AdaNet改进

来源 :计算机应用 | 被引量 : 5次 | 上传用户:F8251256
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集
其他文献
针对卷积神经网络(CNN)在资源受限的硬件设备上运行功耗高及运行慢的问题,提出一种基于现场可编程门阵列(FPGA)的CNN定点计算加速方法。首先提出一种定点化方法,并且每层卷积设计不同的尺度参数,使用相对散度确定位宽的长度,以减小CNN参数的存储空间,而且研究不同量化区间对CNN精度的影响;其次,设计参数复用方法及流水线计算方法来加速卷积计算。为验证CNN定点化后的加速效果,采用了人脸和船舶两个数
如今的中国动画创作,盲目学习借鉴欧美及日本的动画,丧失了创作的灵性,使得作品"有形无魂"。与国外知名动画相比,国产动画片在背景构建、剧本编写以及动画形象、动作的流畅性
目的观察甲基强的松龙+低分子肝素治疗原发性肾病综合征的临床疗效。方法选取肾病综合征患者56例,随机分为A、B两组,A组予以甲强龙(甲强龙琥珀酸钠)40mg,静脉滴注,1次/d,同时
数学,作为人类思维的表达形式,反映了人们积极进取的意志、缜密周详的推理,以及对完美境界的追求。正如美国数学史家M·克莱因所说的那样,“任何时候,谁想找一个推理的必然性和准确性的例子,一定会想到数学”。他还曾对数学做过这样的描述:“音乐能激发或抚慰情怀,绘画使人赏心悦目,诗歌能动人心弦,哲学使人获得智慧,但数学却能提供以上的一切,给人快乐。”在当今知识经济时代,数学正在从幕后走向台前,它与计算机技术
针对城市固定相序的单路口多相位交通信号进行控制,本文设计了基于车流量预测的动态调整相位最大绿灯时间的模糊控制系统。综合考虑当前相位、后续相位的交通需求度,以此决定绿
随着科技的快速发展,现代化的生产线为饮料的生产提供了很多方便。但是在饮料灌装过程中由于种种因素也会出现不合格的产品,主要有瓶盖封装不合格,液位不合格等情况,这将严重
留学选择专业是关键,即便是在金融风暴下,很多专业的人才需求依旧非常紧俏,留学前景很被看好。并且随着中国对外贸易额的不断攀升,越来越多的外资企业进驻中国,给海外留学生创造了
写作是学生语文素养的体现,是学生运用语言文字的重要方式。在实际教学中,很多学生谈起写作就产生畏难情绪,感觉无话可说。为了提高学生的写作能力,教师可以采取多种写作教学
中职药剂专业学生心理健康调查表明,部分中职药剂专业的学生存在抑郁、自信心、学习心理和就业心理以及人际交往心理等方面的心理健康问题。由于目前中职学校方面的心理健康
社会化推荐系统通过用户的社会属性信息能缓解推荐系统中数据稀疏性和冷启动问题,从而提高推荐系统的精度。然而大多数社会化推荐方法主要针对单一的社交网络,或对多个社交网络进行线性叠加,使得用户社会属性难以充分参与计算,因而推荐的精度有限。针对该问题,提出一种多重网络嵌入的图形神经网络模型来实现复杂多维社交网络下的推荐,该模型构建了统一的方法来融合用户-物品、用户-用户等各种关系构成的多维复杂网络,通过注