【摘 要】
：
大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有的大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.提出构建一种启发于人脑功能机制的大规模神经网络模型,该模型以脑区划分和脑区功能机制为启发,集成大量现有数
【机 构】
：
四川大学 计算机学院, 四川 成都 610065;西北工业大学 自动化学院, 陕西 西安 710129;中国科学技术大学 电子工程与信息科学系, 安徽 合肥 230022
论文部分内容阅读
大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有的大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.提出构建一种启发于人脑功能机制的大规模神经网络模型,该模型以脑区划分和脑区功能机制为启发,集成大量现有数据和预训练模型,借鉴脑功能分区来模块化构建大规模神经网络模型,并由脑功能机制提出相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出.该神经网络模型关注输入到输出空间的关系构建,通过不断学习,提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习,向通用人工智能迈进.整个模型和所有数据、类脑功能区使用数据库系统进行管理,该系统了还集成了分布式神经网络训练算法,为实现超大规模神经网络的高效训练提供支撑.提出了一种迈向通用人工智能的思路,并在多个不同模态任务验证该模型的可行性.
其他文献
从海洋工程大型船舶拖带作业的特点出发,分析了其中存在的主要安全风险,对如何加强海洋工程大型船舶拖带作业中的安全管理进行了探索和分析,为大型船舶拖带作业安全管理提供了一些参考建议.
为了全面提升港口机电设备应用效果,要及时完成故障诊断分析,落实相匹配的技术处理方案,从而优化设备综合应用质量.因此分析了港口机电设备故障产生的原因,并对设备故障问题和诊断技术展开讨论,旨在实现经济效益和社会效益的双赢.
透水沥青混合料具有降噪、排水、抗滑等优点.采用高黏度改性沥青和矿料制备透水沥青混合料,通过马歇尔试验、肯德堡飞散试验、析漏试验对混合料的物理及力学性能进行研究.研究表明:所得透水沥青混合料具有较大的空隙率、良好的力学性能,满足规范及实际使用要求.
近年来,国内建设水平的提高推动了高等级公路的发展,人们对公路也有了更高的路面平整度要求.通常来讲,平整度合格率不仅能够反映出路面上的行车舒适度,也可以从侧面体现出施工企业的施工能力.通过结合G310迎国检工程、S270东南绕城路面、邳州循环产业园循环路路面标等施工实践,阐述工程施工过程容易遇到的问题以及分析研究沥青路面不平整的常见原因与有效对策.
从实际上来看,当前软基处理已经成为公路工程中工程造价以及使用质量的主要影响因素.目前我国经济发展迅速,对道路交通也提出了越来越高的要求,为了保障公路路基以及周边建筑物的安全,对于公路工程中软基部分有必要实施具有针对性的研究.通过对公路工程中软基处理技术进行探讨,希望能为相关工作人员提供一些参考.
以CAP再生抗滑封层技术作为研究背景,在论述CAP再生抗滑封层技术机理的同时,详细地探讨了该技术的应用过程,希望通过分析后能够为该领域的人员提供借鉴.
海洋石油平台的建造是海洋石油开发的关键一步.其现场安全工作的质量对于海洋石油整体开发和设计的安全至关重要.因此,海洋石油开发公司及其专业技术人员必须进一步加强海洋石油平台建造现场的安全管理,为以后的海洋石油开发工作建立安全基础.有鉴于此,本文分析了海洋石油平台建造安全工作的必要性,并对海洋石油平台建造现场的施工安全管理进行了深入细致分析,以提高海洋石油开发的安全性.
我国水利工程建设规模和数量较多,但同时在建设过程中也给河流的生态系统带来了一些影响,因此,通过对水利工程和河流生态系统关系的研究,进而发现水利工程建设对我国水环境的影响因素,提出优化改进措施,以在水利工程建设时加强对河流生态系统的保护,实现绿色可持续发展.
军事行动、反恐突击等强对抗场景中,实时信息的碎片化、不确定性对制定具有博弈优势的弹性行动方案提出了更高的要求,研究具有自学习能力的智能行动策略规划方法已成为编队级强对抗任务的核心问题.针对复杂场景下行动策略规划状态表征困难、数据效率低下等问题,提出了基于预测编码的样本自适应行动策略规划方法.利用自编码模型压缩表示任务的原始状态空间,通过任务环境的状态转移样本,在低维度状态空间中使用混合密度分布网络对任务环境的动态模型进行学习,获得了表征环境动态性的预测编码;基于预测编码展开行动策略规划研究,利用时间差分敏
道路桥梁建设的发展推动了我国经济水平的提升,并且在经济水平提升的基础上,道路桥梁建设工作也得到了进一步的发展,使越来越多的山地区域能够开展道路桥梁的建设工作,但是在其中通常需要进行隧道工程施工.因为道路桥梁隧道工程施工的过程较为复杂,所以施工过程中的难点更多,有关于技术的要求也更加严格.为了有效提升道路桥梁隧道工程建设的质量和效率,针对其中的难点进行分析,并提出相应的技术对策.