【摘 要】
：
随着深度学习的高速发展,神经网络模型的结构越来越复杂,往往需要大量训练数据帮助模型学习。在实际应用中,复杂任务场景下的数据采集难度高、成本大,导致缺乏高质量的大型标注数据集。结合迁移学习的思想,预训练模型为任务学习提供了较高的起点,引入外部相似数据集,弥补了样本语义特征空间的缺失。随着对抗样本的出现,深度学习模型暴露出对抗脆弱性的问题,对此,有学者提出了对抗训练过程来提高模型的对抗鲁棒性。实际上,
论文部分内容阅读
随着深度学习的高速发展,神经网络模型的结构越来越复杂,往往需要大量训练数据帮助模型学习。在实际应用中,复杂任务场景下的数据采集难度高、成本大,导致缺乏高质量的大型标注数据集。结合迁移学习的思想,预训练模型为任务学习提供了较高的起点,引入外部相似数据集,弥补了样本语义特征空间的缺失。随着对抗样本的出现,深度学习模型暴露出对抗脆弱性的问题,对此,有学者提出了对抗训练过程来提高模型的对抗鲁棒性。实际上,这种训练方式抑制了模型对非语义特征的学习,增加了模型对语义特征的依赖程度,同时损失了模型的泛化性能。本文分别从语义特征和非语义特征两个角度,进行了以下研究工作:（1）基于中层属性的语义特征挖掘方法研究。面向多模态人类活动识别任务,本研究设计中层属性结构,搭建底层信号-中层属性-高层活动的两段式建模框架,将复杂任务解耦为阶段性任务,降低模型映射难度。第一阶段,借鉴迁移学习思想,引入基于外部中层属性标注数据的预训练模型对底层不同模态信号分别建模,降低对活动标注数据的依赖,缓解样本不足问题;第二阶段,使用基于循环神经网络的改进型LSTM网络,提取时间序列维度特征。通过在Stanford-ECM数据集上进行实验,测试结果验证了该方法的有效性,同时针对活动的不同剧烈程度,进一步分析了不同模态信号的分类贡献。（2）基于对抗样本的非语义特征挖掘方法研究。面向图像识别任务,本研究对非语义特征的泛化特性进行实验,验证非语义特征和语义特征之间是不同的,且非语义特征具有分类有效性。提出通过对抗攻击来挖掘样本中的非语义特征,以对抗样本作为非语义特征的载体,对样本不足类进行数据增强,完善训练样本的特征空间,进而提高模型的泛化性能。本研究在CIFAR-10数据集上进行了实验,从测试结果和特征分布多角度进行定量定性分析,验证了该方法对模型泛化性提升的有效性。
其他文献
随着我国电力工业市场化改革逐步深入,电力市场的市场体系愈加丰富,电力市场可交易的品种逐渐增多,由早期的占比很少的中长期电量交易,到现在8个省级现货电力市场,交易规模逐渐扩大,交易更加频繁。由于能源革命的推进,风光等新能源在电源结构中的占比的逐渐增大,不确定性增加,不仅使得有功功率平衡面临挑战,且影响到了无功功率平衡以及电网电压的安全稳定。在这种情况下,如何利用价格信号调动各方无功资源,就变得十分重
大宗货物包括煤炭、钢材、原油等,是影响国家经济与民生的重要原材料。铁路运输具有运输能力大、运输成本低、安全性高等特点,是我国大宗货物的主要运输方式,也是国民经济的大动脉。近年来,随着市场化改革的全面推进,各种运输方式之间的竞争愈加激烈,铁路企业也受到了极大的挑战。为了扩大市场份额并提高企业收益,制定合理的运价是极为关键的一环。目前我国政府虽然放松了对铁路企业的管控力度,允许铁路企业可以在一定浮动范
随着我国高速铁路建设的蓬勃发展,旅客高铁出行需求不断增长,对高铁高质量高标准发展提出了更高要求。高铁车站作为高铁路网中的旅客集散枢纽,显著增大的客流需求对其造成了前所未有的压力。一方面,巨大客流聚集在车站内相对封闭区域,既是对车站运营管控能力的考验,也是对旅客出行安全的冲击;另一方面,车站作为交通商业综合体,客流量增大的同时旅客个性化服务需求也在逐步攀升,因此如何有效感知和预测站内客流分布状态,并
冬奥会作为国家特大型体育赛事之一,吸引了众多国内外游客观赛。然而,由于赛事相关信息发布不集中,给赛事管理者和出行人员的出行和查询冬奥相关信息带来不便,并且道路突发异常情况时有发生,若不能及时采取应急措施将会给观赛游客带来延误。因此,赛事管理者和出行者缺少集赛事相关信息查询、出行规划和应急调度一体化平台。本论文以软件工程方法学为指导思想,以软件工程理论、智慧交通理论、智能优化算法为基础,以赛事管理人
电机驱动系统的可靠性对光伏无人飞行器（UVA）的稳定持续飞行至关重要,而普通的三相电机驱动,在发生故障时难以继续工作,因此本文研究了采用具有冗余结构的双绕组永磁同步电机（PMSM）驱动系统,不仅能够提高系统的可靠性,而且还可以根据光伏发电量的差异进行功率和转矩的分配,提高能量利用率。考虑到无人飞行器工作需求和环境的复杂性,针对驱动系统的可靠性与稳定性,重点研究了双绕组PMSM的矢量控制、无位置传感
隐写技术是用于秘密通信的一种方式,随着人们越来越青睐于视频形式的信息交流,以视频为载体的信息隐藏技术将在版权保护、军事通信等领域有巨大的应用需求。视频原始数据量巨大,所以我们平常见到的视频几乎都是经过压缩的。高效率视频编码（High Efficiency Video Coding,HEVC）自2013年发布以来就以其较高的压缩效率受到了广泛的关注,并且经过近几年的发展,被应用到许多产品中,因此基于
卫星网络具有覆盖范围广、容量大以及不受地域限制等优势,近年来,逐渐引起了国内外产业界和学术界的广泛关注,构建空间信息网络成为未来网络的发展趋势。然而,由于卫星节点的处理能力较弱,传统地面网络的分布式路由会增加卫星节点的计算开销且存在收敛时间慢、灵活性较弱等特点,难以直接应用于卫星网络。软件定义网络（Software Defined Network,SDN）的提出为卫星路由的设计提供了新思路,其核心
随着集成电路产业的不断发展,集成电路的特征尺寸不断减小,工作环境也愈加复杂,集成电路的电磁兼容性问题越来越受到关注。集成电路的抗干扰能力决定了其能否在复杂的环境中正常工作。智能开关芯片是电子设备重要的组成部分,作为开关作用决定后级电路能否正常响应,开关芯片的电磁兼容性问题会直接影响整体电路的工作状态,因而对智能开关芯片的电磁兼容性问题展开研究,对于提高电子设备抗干扰能力和可靠性研究有着重要意义。本