基于时间卷积网络与多头注意力改进的自动数学应用题解算器

来源 :天津师范大学 | 被引量 : 0次 | 上传用户:same786
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数学应用题是以自然语言为基础,基于任何学科领域(数学、物理、化学、生物等)的任何数学问题。由于数学应用题类型多样、复杂程度不一,解决这些用自然语言描述的问题,需要对表达式和答案进行适当的推理。因此,自动数学应用题解算器的设计一直是将人工智能应用到教育领域的热门话题。近年来,顶级的数学应用题解算器大多都采用深度学习方法,然而,它们大都存在忽略数据预处理的重要性,缺乏对数学应用题文本数据的时序性考虑等问题。为此,本文将探究不同的改进方式,以提高当前流行的自动数学应用题解算器模型的性能表现。设计自动数学应用题解算器的核心是将先进的自然语言处理技术以及计算机应用技术等有效地综合运用于整个解算器模型当中,其主要包含数据预处理和模型训练两个模块。首先,本文全面地分析了数学应用题数据集的特点,探索其在自动数学应用题解算器模型中的应用价值。其次,本文对基于深度学习模型的相关算法进行了全面地分析和总结,探究了不同的深度学习算法在建立自动数学应用题解算器时的性能优势。最后,本文提出一种融合Seq2seq网络模型、多头注意力机制以及时间卷积网络的自动数学应用题解算器模型TMASeq2seq,对自动数学应用题解算器的建立提出了三种改进方案。在两个常用公开数据集上进行实验,均提升了自动数学应用题解算器的答案准确率。本文的主要工作如下:(1)TMASeq2seq模型采用了性能更加优异的分词工具(Fool NLTK)与词嵌入方法(ELMo)构成数据预处理模块,更加注重数据预处理对于数学应用题解算器性能的影响。(2)TMASeq2seq模型中加入了多头注意力机制。在计算上下文注意力时,采用先部分分析,后整体推理的方式。将原来的上下文注意力分为多个子域计算,再进行合并推理。这种计算方式不仅能够很好的实现并行,而且可以捕获更长距离依赖关系。(3)TMASeq2seq模型首次将传统的Seq2seq模型与时间卷积网络TCN相结合用于自动求解数学应用题,扩大了解码器的感受野,且在一定程度上增强了对时序性数据的处理能力。(4)在大规模数据集上,TMASeq2seq模型实现了比当前最好的集成Seq2seq模型(Ensemble Model)更好的性能,准确率从68.4%提高到70.5%。在小规模数据集上,TMASeq2seq模型也实现了性能的提升,准确率达到91.3%。
其他文献
苦荞是一种药食兼用的粮食作物,具有很高的营养价值,苦荞中类黄酮含量很高,可以提高免疫力、延缓衰老、降三高、预防心脑血管病,因此近年来苦荞功能性食品大力开发。然而,苦荞的产量较低,大大限制了苦荞产业的发展。苦荞的基础研究较为薄弱,目前主要依赖于传统的常规育种进行品种改良,近年来苦荞基因组测序的完成极大地推动了苦荞分子育种的发展。NAC转录因子是一类植物特有的且研究最为广泛的转录因子家族,它不仅参与植
为了评估国产环氧灌封胶在绝缘栅双极晶体管(IGBT)功率模块封装中的应用情况,选取两种国产环氧灌封胶进行了综合对比,包括对两种环氧灌封胶固化前黏度、密度和凝胶时间,固化后的基本性能、热性能、绝缘性能等的横向对比。分析两种环氧灌封胶的差异,利用其分别封装IGBT功率模块,并对所封装的IGBT模块进行了高温存储、低温存储及温度循环等环境测试。结果表明:两种环氧灌封胶不同的增韧机理、混合比例、固化温度、
普罗科菲耶夫是上世纪最杰出的音乐家之一,他一生创作了大量的优秀作品。《第一钢琴奏鸣曲》(op.1)作为普罗科菲耶夫钢琴奏鸣曲的首作,具有重要的研究和演奏价值。笔者通过分析研究《第一钢琴奏鸣曲》(op.1)的创作背景、音乐特征和演奏技法,对深入了解普罗科菲耶夫《第一钢琴奏鸣曲》(op.1),把握其后期钢琴作品大有裨益。本文分为四章,第一章阐述《第一钢琴奏鸣曲》(op.1)创作背景,主要介绍二十世纪钢
检验检测服务模式发展滞后于检验检测行业发展的重要原因之一就是缺乏针对于服务模式的理论定义。采用概念分析法,以服务模式的定义和检验检测行业的服务特点为逻辑,研究了相关的代表性理论,认为服务模式主要由服务的基本要素和服务的商业模式两方面的内容组成,并深入探讨了检验检测的服务模式,提出了构建检验检测服务模式这一概念的重要意义。
为满足日益严格的全球燃油经济性要求,流量主动控制、缸间钻孔和快速加热等各种先进的发动机冷却技术得以应用。韩国现代汽车公司最近开发了新一代2.0L4缸汽油机,采用了几种新的冷却系统技术。从概念设计阶段到预生产阶段,总结了三维计算机辅助工程(CAE)分析在发动机冷却性能评价中的应用。对缸盖和缸体水套中的冷却液流动进行了研究,找出了最佳方案,并通过优化缸垫孔对其进行了进一步的改进。在制造首台试验发动机之
目的:调查中学生认知情绪调节和愤怒情绪是否在中学生羞耻感与攻击行为之间起中介作用。方法:采用《中学生羞耻感量表》《认知情绪调节问卷》以及《攻击行为问卷》对山西省阳城县473名中学生进行调查,分析羞耻感、认知情绪调节策略、愤怒、攻击行为的关系;认知情绪调节策略与愤怒能否在羞耻感与攻击行为之间起中介作用和链式中介作用。结果:①羞耻感、消极认知情绪调节策略、愤怒和攻击行为之间两两显著相关(r=0.50、
民间美术所蕴含的造型原理、审美意趣以及视觉张力,为绘画艺术提供源源不断的养分。剪纸作为民间美术的重要组成部分,其对绘画的作用不言而喻,尤其对"舶来品"油画艺术的中国化转型起着较为关键的作用。本文围绕我国油画创作中的剪纸造型元素展开论述,分析油画创作中剪纸造型的运用及其理念。
软件定义网络(software defined networks,SDNs)是一种由多种网络技术组成的新型网络结构,由底层的数据平面、中间层的控制平面以及最上层的应用平面组成,具有灵活敏捷的特点,能够自动优化网络资源的利用,尤其适用于网络中流量需求不断变化的应用。软件定义网络与传统网络不同之处在于SDN将网络设备的控制平面与数据平面相分离,因此根据实时动态的网络需求,用户可以通过简单的编程操作对整
随着深度卷积神经网络在图像处理及识别领域的成功表现,人体检测和姿态识别技术理论研究迎来了新的发展方向。基于深度神经网络的人体检测与姿态识别技术降低了对外界设备的需求,为一些场景应用提供强大的理论支撑。本文以乒乓球机器人系统为背景,设计深度学习模型,用于对击球人的人体位置检测和姿态识别及动作分析,并根据识别到的姿态序列建立分类模型,判断出击球运动动作类别,从而预判乒乓球的旋转类型及速度,以此控制乒乓