【摘 要】
:
在自然语言处理过程中,由于语义的歧义性,致使计算机对自然语言的理解往往需要以一定的语境和大量的先验知识为依据,然后通过语言模型输出自然语言。变分自编码器作为一个编码-解码结构的语言模型,在文本生成过程中会出现对文本信息学习不足的情况,导致模型性能不佳;模型忽略隐变量信息,退化为一个自编码器模型,出现后验崩溃的现象。在变分自编码器的硬件部署过程中,基于冯·诺依曼架构的计算机的算力已经达到了一定的瓶颈
论文部分内容阅读
在自然语言处理过程中,由于语义的歧义性,致使计算机对自然语言的理解往往需要以一定的语境和大量的先验知识为依据,然后通过语言模型输出自然语言。变分自编码器作为一个编码-解码结构的语言模型,在文本生成过程中会出现对文本信息学习不足的情况,导致模型性能不佳;模型忽略隐变量信息,退化为一个自编码器模型,出现后验崩溃的现象。在变分自编码器的硬件部署过程中,基于冯·诺依曼架构的计算机的算力已经达到了一定的瓶颈,忆阻器作为一种纳米级新型物理元器件,其拥有能够记录外界状态变化的特性,这种特性使得基于忆阻器的硬件部署可以实现存算一体的功能。其存算一体的特性和纳米级特性,使得大规模神经网络的搭建成为可能。针对上述问题,论文对变分自编码器模型展开了探索研究,主要研究内容如下。(1)针对变分自编码器模型中单一编码器对文本特征信息学习能力不足的问题,论文通过循环神经网络和卷积神经网络分别提取文本的短距离特征和长距离特征信息,全连接后构建融合隐变量。合成数据实验结果表明,融合隐变量采样方法可有效提升模型对文本特征信息的学习能力。(2)针对变分自编码器在文本生成过程中,模型性能不佳的问题,论文在融合隐变量采样的基础上,提出一种基于对抗训练的变分自编码器文本生成模型。该模型将变分自编码器看作生成器,引入强化对抗的训练方法,利用鉴别器与生成器的强化对抗训练,生成奖励值,并采用策略梯度方法优化生成器。公共数据集实验结果表明,在融合隐变量采样的基础上,采用对抗训练的方法优化变分自编码器,可有效提升变分自编码器模型的生成性能。(3)针对变分自编码器模型在文本生成过程中容易出现后验崩溃的问题,论文基于分层思想和正则化方法,提出层次化状态正则变分自编码器模型。该模型通过层次化编码隐藏状态值,减少解码器所获得的文本信息量,从而弱化解码器,通过正则化方法使得编码器输出的隐变量对文本信息表征更加高效,进一步强化编码器。实验结果表明,该模型可以有效缓解变分自编码器后验崩溃的问题,且较于基线模型有更优的生成文本质量。(4)变分自编码器模型的端侧应用设计。基于忆阻循环网络,论文提出一种变分自编码器模型的硬件部署方法,该方法将训练好的模型权值映射到忆阻交叉阵列中,再将输入向量转化成的电压信号加载到忆阻交叉阵列中,实现矩阵向量计算,最后通过数模转换的方法,将输出电压转换为生成文本。该端侧应用设计为变分自编码器模型的硬件实现提供一种新的思路。
其他文献
目的:探讨糖尿病足病患者治疗中富血小板血浆技术联合负压封闭引流(VSD)的应用价值。方法:回顾性分析2016年3月-2022年3月福建医科大学附属漳州市医院收治的110例糖尿病足患者的临床资料,55例应用VSD结合富血小板血浆技术治疗作为观察组,另55例用常规治疗方法作为对照组。比较两组创面面积、疼痛程度、下肢动脉病变评分、足部血流速度、神经传导速度、临床疗效。结果:治疗后1个月,观察组创面面积小
<正>在国家经济日益发展的背景下,各行业面对的压力在逐渐增加,其中会计行业也面临着巨大的压力。从目前的情形来看,大家对于会计了解最多的内容就是就业广泛,所以人们对会计的重视程度越来越高,学习会计的人员也越来越多,基于此,岗位竞争压力逐渐增加,很可能面临着多个人竞争一个岗位的情形,然而在人才选取和培养的过程中,往往会忽略掉会计职业道
研究通过对苯并[a]芘(Bap)的高效液相色谱-质谱法和高效液相色谱-荧光检测法的比对,最终确定了白酒酿酒原粮高粱中苯并[a]芘(Bap)的最佳检测方法为:高效液相色谱-荧光检测法。样品经正己烷超声提取、分子印迹柱净化后上机测试,Bap在0.5 ng/m L~100 ng/m L范围内,线性关系良好,相关系数r>0.999;不同浓度Bap标品和加标样分别平行测定6次,测定浓度值的相对标准偏差在0.
跨境电商作为对外贸易的新业态,正在成为拉动经济增长的新动力。与以海运为主的传统贸易不同,跨境电商交易对海运和陆运均有较高的要求。因此,其发展也很大程度受限于贸易便利化水平。为此,本文基于交易成本理论,以我国与“一带一路”沿线国家之间的跨境电商为研究核心,从跨境运输成本、跨境通关成本、政治交易成本以及时间成本等路径切入,应用GMM方法研究了贸易便利化对跨境电商发展的影响。结果表明,跨境物流基础设施对
以芍药品种‘丹凤’为试材,采用了响应面的优化方法,研究了料液比、乙醇浓度、超声时间、超声功率和超声温度对芍药花瓣超声提取多酚含量的影响,以期为芍药花瓣多酚的进一步开发利用奠定基础。结果表明:芍药花瓣多酚最佳超声提取工艺为:料液比1:46、乙醇浓度43%、超声时间31 min。
香烟爆珠包装前的缺陷检测对确保香烟生产品质具有重要意义。基于卷积神经网络的新型爆珠缺陷检测算法,可检测爆珠中的气泡、凹陷、划痕和微小拖尾这4种典型缺陷。为满足工业检测的要求,在利用Faster RCNN对小目标检测精度高优势的同时,对其进行轻量化改进。首先,利用深度可分离卷积网络实现特征提取,相较于标准卷积,参数量与计算量可减少约90%;然后,为降低网络参数的减少对精度的影响,利用上下文增强模块整
[目的]分析湖南省肿瘤登记地区2018年恶性肿瘤的发病与死亡状况。[方法]收集2018年湖南省32个肿瘤登记点上报的恶性肿瘤发病与死亡资料,按照地区和性别分层计算湖南省肿瘤登记地区恶性肿瘤的发病与死亡粗率、中标率、世标率、年龄别率、0~74岁累积率。中标率采用2000年全国人口普查的标准人口构成进行计算,世标率采用Segi’s世界标准人口构成进行计算。[结果] 2018年湖南省肿瘤登记地区恶性肿瘤
随着城市化进程的不断加快,土地资源日益紧张,为了更加有效的利用土地资源,地下空间加速开发利用,由此产生了大量的基坑工程。而基坑的开挖势必会对基坑自身及周边环境产生影响,若不加以控制极易造成安全事故。随着自动化监测技术的应用与发展,使得基坑监测获取到的监测数据的精确度和全面性更高,时效性更强。因此,充分利用基坑施工过程中获取的大量监测数据实现基坑变形预测,对保证施工期间的安全性,提前对风险做出预警和
工业物联网(Industrial Internet of Things,IIoT)可以将各种工业设备、监测仪表以及传感器进行相互连接,设备的运行状态可通过监测仪表与传感器进行全面感知,并根据感知数据对设备状态进行分析与预测。然而要对海量的感知数据进行分析处理需要大量的存储空间与计算能力,将其传送到云平台势必将占用大量的带宽并产生较大的时延,很难满足对设备状态实时分析与诊断的需求。因此,针对工业设备
中国社会的本质是乡土性的,国家对于乡村的建设发展一直高度重视。自乡村振兴战略正式实施以来,围绕乡村主题进行的影像创作作品数量迅速增长。随着移动互联网与短视频行业的快速发展,移动通讯设备逐步向乡村普及,结合中国不同地域乡村实际情况变化与对当地的历史文化特色挖掘,创作主体拥有了更为丰富的创作基础素材与创作能力。其中,本地农民在乡村题材短视频创作与传播过程中逐步掌握更多的媒介话语权,创作主体的丰富与创作