基于智能计算的超参数优化及其应用研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:LuYang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在物联网技术的迅猛发展,以及大规模并行计算的背景下,人工智能渐渐地从高端技术变成通用技术。有了强大计算能力的保证,人工智能的崛起有两个重要的因素:数据和机器学习算法。在数据处理好的情况下,如何配置机器学习算法的超参数是人工智能技术取得好的效果的关键。超参数就是某个算法在运行之前,首先需要确定好的参数。例如遗传算法中,种群的大小就是一个超参数。超参数优化就是为某个应用的算法选择一组好的超参数,使其性能最佳。在以往的算法调参问题中,领域内的学者一般是基于个人的经验人工调参。近几年来,随着数据的指数级增长,以深度神经网络为代表的机器学习算法在处理海量数据方面显示出了强大的优势。但是如何选择其众多的超参数仍然是一个未解决的难题。本文便是从优化的角度来解决这个问题。在第二章中,首先介绍了几种经典的机器学习模型,优化算法以及超参数优化的建模过程。另外,本章还介绍了一些早期的超参数优化方法,如网格搜索,随机搜索,并且针对随机搜索结果的不稳定性,提出本文的第一个创新点:基于单个体量子遗传算法的超参数优化。实验表明,本章所提出的算法,在针对基于MNIST数据集的神经网络调参问题上,取得了不错的效果。在第三章中,由于超参数优化本质上是一个昂贵黑盒函数优化问题,所以,学者们开始利用贝叶斯优化进行机器学习模型的调参。在本章中,首先详细介绍了贝叶斯优化方法,并且针对贝叶斯优化的缺点,提出了本文的第二个创新点:基于多元自适应回归样条的超参数优化算法。实验表明,该算法所取得的结果不仅不低于贝叶斯优化所取得的结果,而且在时间效率上提升很多。在第四章中,我们提出了本文的第三个创新点:将数据驱动优化技术应用到SAR图像变化检测的实际问题中。具体地,(1)提出了一种基于数据驱动的阈值法,(2)对基于深度信念网络的SAR图像变化检测算法的超参数进行优化。实验表明,基于数据驱动的阈值法相较于经典的阈值法,性能有着一定的提升,以及利用数据驱动优化对基于深度信念网络的SAR图像变化检测算法进行超参数优化之后,该算法的性能也有着一定的提升。另外,在本文中,智能计算指的是进化算法,贝叶斯优化,基于多元自适应回归样条的优化等智能优化算法。
其他文献
随着无线通信技术的飞速发展,无线定位已成为室内环境下位置信息获取的主要方式。超宽带定位具有发射信号功耗低,信号速率高、信道容量大,信号的穿透力强和高精度等优点,已成
教育培训机构作为“营利性组织”,广泛、稳定的生源,较高的学员满意度以及随之而来的口碑是其赖以生存和发展的基础。但是随着同行业竞争的加剧培训市场的不断成熟使得资源变
目的:研究洋参果总皂苷对培养心肌细胞缺氧及缺氧/复氧损伤的保护作用.方法:对培养的心肌细胞建立缺氧及缺氧/复氧损伤型,实验分9组:正常细胞培养组、缺氧/复氧损伤模型组、
<正>诗词是我国传统文化的瑰宝,文学艺术的奇葩,颂扬千年,流传亘古。在湖南省阅读教学竞赛中,开福区的黄玲玲老师选择了古典诗词《渔歌子》的教学。诗词教学作为小学语文教学
肥胖症常伴有多种并发疾病,患者对治疗并发疾病及自身健康均有迫切要求.笔者采用针刺的方法治疗肥胖症30例,疗效满意,现报道如下.1临床资料1.1一般资料30例中,男2例,女28例,
针对智能制造产业岗位技能人才需求,以导师制等职教理论为指导,提出并实践了机电项目中的核心技能导师制人才培养模式。实践证明,该人才培养模式对包括职业高等院校在内的青年技
青光眼是由于病理性高眼压而引起视神经乳头损害和视野缺损,甚至导致失明的一种眼病,属中医学之"五风内障"的范畴,是常见的不可逆性致盲眼病之一.近年有国外学者采用在蒙古共
<正>Complexity is one of the leading features of modern control systems. It is caused by the complex properties of controlled plants and the varied requirements
县城是大中城市与小城镇的联接点,是城乡统筹发展的关键节点,县城义务教育公共服务的有效供给对于推进新型城镇化具有重要价值。当前,县城义务教育学校大班额现象严重,义务教
基于当前减速器组装中对油封和轴承压装的普遍做法及过程能力低下的问题,设计一台压装专机,采用伺服电缸、承重传感器、PLC等精密部件,即时精确检测和控制压装力大小及位置,