基于语句相似度和句法结构的对话生成方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zfz508
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习被广泛地应用于计算机视觉、神经机器翻译和推荐系统等领域,并取得了不错的效果,对话系统领域也开始尝试应用深度学习技术以提高对话系统的质量。相对于传统方法,深度学习可以以最少的人工投入通过对大量数据的学习得到更多的语义特征和对话生成规律。同时,互联网的飞速发展与普及,所积累的海量交互数据为科研人员亦提供了丰富的研究素材。目前的对话系统从对话的生成方式一般可分为两类:检索式对话方法和生成式对话方法。在实际系统的应用层面,两种方法可以有机结合达到相辅相成的效果。因此,本文对这两种方法分别做了深入研究。在检索式对话方法中,一种传统的做法是对所有候选集合建立离线索引。当系统收到输入的信息时,通过匹配算法初步召回一批候选回复。根据需求对候选回复进一步地筛选,最终返回符合需求的结果。本文通过将多分类模型的训练思想应用于语句相似度任务,以循环神经网络(RNN)结构提取文本特征并结合大间隔Softmax应用在模型中,通过多分类模型的训练得到文本的编码模型以进行语句相似度计算。通过与TF-IDF相似度计算方法、基于词向量的语句相似度计算方法以及基于深度学习的语句相似度计算方法进行比较,证明了该方法相较于现有的方法具有更好的效果以及稳定性,为检索式对话生成提供了更多的相似度计算方法选择。在生成式对话方法中,现有的生成模型除去生成安全回复的问题外,生成的语句很大概率在流畅性上会有不足。例如两个动词连在一起、缺少结构助词或者结构助词位置不当导致的不通顺的问题。为了解决这个问题,本文提出两种解决方法。一是借助词性标注和句法分析等技术,基于SequenceToSequence模型,通过词性转移矩阵的方法对训练过程进行改进,以改善模型的生成语句结构不通顺问题。二是得到了生成模型之后,使用BeamSearch方法生成N个不同的回复。利用词性标注和句法结构分析技术,通过计算结构混乱度对回复进行重排序,返回经过重排序后的结果以提高对话生成效果。
其他文献
随着集成电路技术的快速发展,芯片安全问题受到越来越多的关注。由于集成电路产业链全球化的趋势不可阻挡,很多芯片公司出于经济利益的考虑,将设计和制造分离,导致芯片被植入硬件木马的可能性急剧增大。硬件木马会对芯片产生十分严峻的危害,因此,硬件木马的检测对信息时代的芯片安全有着至关重要的作用。本文课题来源于国家部委项目。针对上述硬件木马检测问题,本文研究了一种适用于大规模集成电路且具有低开销、高覆盖率和高
作为党的优良传统,理想信念教育活动在党领导人民群众进行革命、建设与改革的不同阶段均发挥了凝心聚力的强大作用。进入新时代,党面临新形势、新任务和新挑战。在保持党的先
十八大以来,习近平总书记高度重视文化自信,提出了“文化自信”这一时代课题。实现国民文化自觉和文化自信,提升中华文化在国际中的影响力作为如今党中央工作重点之一,以建立
调频连续波合成孔径雷达(Frequency Modulated Wave Synthetic Aperture Radar,FMCW SAR)是SAR微小型化发展的产物,它具有体积小、结构简单,价格低廉,成像分辨率高等优点。然
通过技术创新优化产品结构、提升产品质量、丰富产品内涵,以提高客户满意度及其消费体验价值,是企业提升核心竞争力以获得可持续发展的重要途径。本文综合运用机械、管理科学、数理统计等学科的理论,通过对现有技术创新研究成果进行系统的梳理,创新性地提出企业技术创新的路线、工具和方法,并通过对两类机械加工与制造的细分行业实证分析,为企业确定技术创新方向和制定技术创新策略提供新的方法。在研究过程中,本文从客户端的
纵向功率金属氧化物半导体(Metal Oxide Semiconductor,MOS)器件是一种重要的功率半导体器件,在消费电子和工业控制等领域具有非常广泛的应用。比导通电阻和击穿电压是纵向功率MOS器件最重要的特性,但是比导通电阻的优化和击穿电压的优化存在着矛盾关系,这个矛盾关系又被称为“硅极限”。如何有效地降低纵向功率MOS的比导通电阻并提高击穿电压引起了众多研究人员的关注,成为了一个研究热点
《英语课程标准》(2011)将情感态度目标列为英语教学五大教育目标之一,明确了初中英语教育不仅传授语言知识,还应注重对学生的学习兴趣、自信心、学习动机、意志力、沟通合作
氧化铟属于n型半导体,其富有非计量数的化学缺陷结构,导电性能独特,稳定性好,禁带宽度(3.7~3.75 eV)合适,是气敏材料的理想载体。判断气敏材料载体性质的好坏通常有两个标准—
本文设计并制作了一款用带状纳米材料修饰的基于微波带阻滤波器的超高速、高灵敏度湿度传感器。应用所设计的交指电容,在2 GHz到12 GHz的频段内确定了两个水蒸汽敏感检测频率。优化后的双频段微带带阻滤波器获得了更高的响应和更好的品质因数,提高了湿度传感器灵敏度。为了研究微波湿度传感器的性能,将修饰了氧化钼敏感材料的传感元件置于湿度测试腔中,在室温环境下实现了对五个湿度等级的测试。测量结果表明,插入损
1944年成立的英国设计委员会(Design Council)是世界上第一个由政府直接领导的官方设计促进机构,其对二战后英国公众“好设计”意识的形成、设计资源的整合、设计产业的振兴