【摘 要】
：
基于大规模文本语料库的预先训练模型能够学习通用语义表征,再根据给定数据集进行微调可以显著提升预先训练模型在各类自然语言处理任务的性能.在这种“预先训练模型+微调策略”的模式下,数据特征来源的选择、模型速率的提升、微调策略的设计就显得尤为重要.本文重点介绍强力优化的语义表征模型RoBERTa、基于全词遮蔽的扩展模型RoBERTa-wwm-ext和基于知识蒸馏的压缩模型RBT3等预先训练模型,以及判别微调DF和倾斜的三角学习率STLR等微调策略.在公众留言分类实验中表明,相对仅选取“主题”作为数据特征来源,选
【机 构】
：
上海旅游高等专科学校,上海 201418;上海师范大学旅游学院,上海 201418;科克大学数学学院,科克 爱尔兰
论文部分内容阅读
基于大规模文本语料库的预先训练模型能够学习通用语义表征,再根据给定数据集进行微调可以显著提升预先训练模型在各类自然语言处理任务的性能.在这种“预先训练模型+微调策略”的模式下,数据特征来源的选择、模型速率的提升、微调策略的设计就显得尤为重要.本文重点介绍强力优化的语义表征模型RoBERTa、基于全词遮蔽的扩展模型RoBERTa-wwm-ext和基于知识蒸馏的压缩模型RBT3等预先训练模型,以及判别微调DF和倾斜的三角学习率STLR等微调策略.在公众留言分类实验中表明,相对仅选取“主题”作为数据特征来源,选取“主题+详情”的效果可提高2％～3％;相对经典语义表征模型BERT,采用RoBERTa-wwm-ext模型的效果可提高2％左右,RBT3模型的速率可提升2～4倍;相对默认微调策略,采用上述微调策略的效果同样可再提高2％～3％.
其他文献
标准的缎蓝园丁鸟优化算法存在收敛速度慢、寻优精度低和易陷入局部最优等缺点,为此,提出了一种基于混合策略的缎蓝园丁鸟优化算法.首先,在种群初始化时,通过引入Logistic混沌映射,使初始种群能够均匀分布;其次,求偶亭位置更新时,加入了指数惯性权重,平衡了算法的全局和局部搜索能力,从而提升了算法的全局收敛速度;最后又在求偶亭位置变异时,引入了Levy飞行变异,提升了种群的多样性,使算法跳出局部最优.
针对现有企业生产药片过程中检测不完善,导致出现不合格药片的现象,提出一种基于改进EfficientNet网络的药片检测分类方法,可以在药片生产包装之前,高效地检测出不合格药片。首先构建药片图像的数据集并进行扩充;其次通过简化EfficientNet网络模型架构,并将注意力机制SE模块改进为ECA模块,提高网络模型的精度。实验结果表明,该方法对药片的分类取得了98.93%的准确率,并与几个常用的网络
为了解决传统诈骗网站检测方法精确度不足、机器学习方法过于臃肿开销过大的问题,本文提出基于卷积神经网络模型的诈骗网站识别模型.通过采集大量网络流量数据,提取数据流特征,建立模型,训练并判断目标网站是否具有诈骗网站特征.并采用朴素贝叶斯算法,检测用户异常行为,判断是否执行过诈骗网站特定操作.若赋值结果超过规定阈值,则目标网站被判为诈骗网站,反之则为正常网站.经过试验检测,该模型召回率为97.65％,检测精确度为91.2％,具有较好实验效果与实践意义.
城市公共交通是满足人民群众基本出行需求的社会公益性事业,与人们的生产生活息息相关,同时它也是体现城市综合发展能力和现代化水平的重要标志.北京公共交通控股(集团)有限公司(简称“北京公交”)承担着首都地面公交主体运营任务,在实施科教兴国、人才强国和交通强国战略的驱动下,坚持人才培养和行业发展内在统一、职业教育与学历教育协同发展,提出创建北京公交职工“1+X+X”(“职业教育+技能水平+学历教育”)学历提升模式,推动职工职业素养、学历水平与技能水平的同步提升,培养复合型、应用型公交行业人才,服务企业转型升级.
为了解决RRT*算法在复杂的多障碍环境中搜索速度慢、规划路径不平滑等问题,提出了一种改进的RRT*路径规划算法.改进后的算法将A*算法和RRT*算法结合起来,首先利用A*算法搜索出的最优路径作为引导路径生成引导域,限制RRT*算法的采样区域,提高其采样效率,然后在引导域中不断迭代搜索,得到一条无碰撞路径,再基于B样条曲线的路径优化,使移动机器人能够平稳安全到达终点.最后,通过与RRT*算法和Informed-RRT*算法的仿真对比,验证改进算法的有效性和优越性.
为了解决VNF资源分配(VNF-RA)中服务功能链(SFC)映射的问题.本文将该问题分成VNF映射到虚拟机和虚拟链路映射到物理链路,前者首先分别找出VNF匹配的虚拟机,再通过动态规划有向无环低时延算法获得VNF映射方案,后者采用最小费用最大流算法获得虚拟链路映射方案,最终生成SFC映射方案.通过仿真实验对比分析,本文提出的方法提高了SFC映射算法的效率.
支架设计是现浇箱梁施工中的关键技术,依托高速公路项目情况,分别对抱箍法、穿心棒法及抱箍承托穿心棒法进行了详细分析,并总结出在同等条件下各种方法的优缺点,以便为类似工程选择合适的方法提供帮助.
旨在研究新冠肺炎疫情对国内和国际油市所造成的影响,为我国在医疗卫生突发事件下的油价政策调整提供参考依据.研究采用ESW模型和VAR模型,实证分析了疫情对国内油价及国际油价的影响.结果发现市场主导下的国际油价受到的冲击远超政府主导下的国内油价,政府主导型油价抗风险能力强、恢复能力高,市场主导型油价面对风险时波动较大且较难恢复,最后得到相关启示.
数据失衡对信用风险评估模型的性能构成挑战,为了提高金融机构的风险控制能力,针对信用风险数据的不平衡现象,提出了一种基于ADASYN-AdaBoost-CNN的集成模型.首先采用ADASYN技术平衡数据集,减轻不平衡现象对信用风险评估的影响.其次构建基于卷积神经网络的集成学习算法,确保信用风险评估模型的准确性与鲁棒性.最后在lending club借贷数据集上开展实验,使用F1-measure、G-mean和AUC三个评价指标检验模型性能.结果表明,ADASYN-AdaBoost-CNN模型能够有效解决不平
分析用户网络行为,识别诈骗网站,对电信网络诈骗犯罪的防控工作具有重要的实际意义.本文通过研究用户的多步骤、时序性的网络数据流,提取显性流量特征以及隐性网络行为特征,建立基于BP神经网络的诈骗网站识别模型,实现对诈骗网站的动态识别.为解决传统的诈骗网站检测模型精确度不足、模型开销庞大的问题,以及传统BP神经网络模型容易陷入局部最优解的问题,本文提出遗传算法优化的BP神经网络模型,通过遗传算法寻找最佳初始权阈值,优化神经网络模型.在用户网络行为数据集的基础上进行实验,证明模型能够有效识别网站的诈骗属性,具有实