【摘 要】
：
数据到文本生成是自然语言处理领域一个重要的研究方向,该任务旨在将结构化的数据生成逻辑清晰,语义通顺的文本。随着社会信息化进程的不断加快,深度学习领域越来越火热,社会开始从传统互联网领域逐步迈向元宇宙概念发展,因此在文本编写方面,人们希望机器也能如同人一般自动编写出高质量文本,保证文本质量的同时大幅度提升效率。但是,目前针对数据到文本生成此类研究较为缺乏,落地成果更是稀少,因此面向该领域进行研究具有
论文部分内容阅读
数据到文本生成是自然语言处理领域一个重要的研究方向,该任务旨在将结构化的数据生成逻辑清晰,语义通顺的文本。随着社会信息化进程的不断加快,深度学习领域越来越火热,社会开始从传统互联网领域逐步迈向元宇宙概念发展,因此在文本编写方面,人们希望机器也能如同人一般自动编写出高质量文本,保证文本质量的同时大幅度提升效率。但是,目前针对数据到文本生成此类研究较为缺乏,落地成果更是稀少,因此面向该领域进行研究具有极大的实际应用价值。数据到文本生成任务虽然在近些年取得了一定成果,但仍留有问题待解决,例如在庞大的结构化数据中选择重点内容进行描述是一难点,同时生成文本的流畅性和连贯性较差,甚至存在文本重复的情况。因此针对以上问题,本文进行基于深度学习的数据到文本生成研究。首先本文开展对语义匹配的研究,语义使自然语言的灵魂,要想做好生成类任务,则对语义的判断需准确,为了解决句子对间语义信息交互充分的问题,提出了一种基于BERT与密集复合网络的语义匹配模型。在研究语义的基础上,提出了一种基于选择编码与融合语义损失的数据到文本生成方法,解决文本生成过程中难以选择重点内容,出现文本重复等问题,提升文本连贯性。最后,经各种数据的测试,证明本文方法相较于现有模型性能最佳。本文所做的贡献如下:1、提出了一种基于BERT与密集复合网络的语义匹配模型,通过BERT嵌入与复合网络的密集连接,显著提高了文本语义匹配的准确率。首先将句子对输入BERT预训练模型,通过迭代反馈得到精准的词向量表示,进而得到高质量的句子对语义信息。其次,设计了一种密集复合网络,先由Bi-LSTM获得句子对的全局语义信息,然后由Text CNN提取并整合局部语义信息,得到每个句子的关键特征和句子对间的对应关系,并将BERT与Bi-LSTM的隐藏输出与Text CNN的池化输出融合。最后,汇总训练过程中网络之间的关联状态,可以有效防止网络退化和增强模型判断能力。实验结果表明,在社区问题回答（CQA）长文本数据集上,本文方法效果显著,平均提升幅度达到45%,方法与性能均由于强基线模型,主要表现在:（1）采用BERT预训练模型表示词嵌入,不仅对词本身进行了编码表示,同时获得词的位置信息,句子的段落信息,使得句子语义表达更完善,层次更分明。（2）设计以Bi-LSTM与Text CNN构成的密集复合网络,整合句子的序列信息和局部关键语义信息,同时连接前后隐藏层输出与池化层输出,使模型能汇总前后学习状态,增强判断能力。2、提出了一种选择编码并融合语义损失的数据到文本生成方法,通过突出重点内容和降低文本描述信息的冗余度,显著提升了生成文本的质量。首先,设计了一种新的选择网络,以数据记录相关的信息量作为内容重要性的编码依据,并对结果多轮动态迭代,实现精准和全面的重要信息选择。其次,在使用长短期记忆网络（LSTM）解码过程中,设计了一种分层注意力机制,对隐藏层输出中不同实体及其属性赋予动态选择的权重,优化了生成文本的召回率。最后,引入一种计算生成文本与参考文本的语义相似度损失的方法,通过计算两者语义矢量的余弦距离,迭代反馈到训练过程获得关键特征的优化,同时减少描述信息的冗余,提升模型的BLEU性能。实验表明,本文方法在公开数据集ROTOWIRE上进行测试,精确率、召回率及BLEU能达到94.58%、53.72%和17.24,优于现有方法:（1）该方法通过编码层设计的选择网络,可以有效的先一步注意重要词汇,在解码过程中,进一步利用此类词汇参与解码输出。（2）在原对数损失的基础上,引入了语义相似度损失,通过两个损失的联合优化,提升模型对全局语义的掌控能力,从而提升生成文本的流畅性,极大程度上解决文本重复性问题。
其他文献
目的 肝素诱导的血小板减少症（HIT）是应用肝素后出现的一种罕见的、较为严重的药物不良反应。使用肝素后患者出现HIT的发病率约为0.2%,一般在肝素使用后5～14天开始,血栓栓塞形成等并发症风险明显增加。方法 本文分析1例下肢动脉闭塞患者在使用低分子肝素治疗过程中多次出现血小板减少的临床资料,并结合相关文献进行复习,结果 分析HIT的发病机制、临床特征、诊断依据及防治措施。结论 通过整个诊疗过程,
关于《尚书·甘誓》的研究虽汗牛充栋，然其背景仍比较模糊，有澄清的必要。有扈氏应不是甲骨文中的东方异族，而是夏之同姓；伐有扈的时间应发生在夏启之世，而非夏禹和夏后相之世。夏禹时曾出现的五星聚，给今人思考《甘誓》的背景带来一定启迪。所谓“威侮五行，怠弃三正”,应是说有扈氏对夏启鼓吹的灵异天文现象不予认可，并否定了夏启执政的合理性。所谓“天之罚”,并非夏启借“天”之威滥杀无辜，而是强调有扈氏自绝于“天”
＜正＞按照团中央、省委、市委加强基层团的建设的要求，新都区坚持以基层团组织建设为主线，以青年需求为导向，以改革创新为动力，减小组织网格、织密组织网络、做好联系兜底，以蓝光花满庭小区为试点，通过把好“四关”，聚焦“四化”，逐步开展城市小区团建的探索。成都市新都区人口155.85万人，拥有城市小区389个，其中大丰街道城市小区138个，占总数的1/3。太平社区位于新都区大丰街道东面，辖区面积0.75平
髋关节置换术作为髋部骨折患者外科治疗的主要方式，近些年得到广泛应用，而当前国内医疗行业的主要关注在手术过程和术后短期内的快速康复方面，对于出院后的居家护理康复内容研究较少，而居家治疗的依从性对于术后患肢的康复效果具有重要作用。本文主要对目前国内外对于老年髋关节置换术患者居家护理的现状进行总结，内容包括居家护理的定义、患者居家护理需求的影响因素以及国内外对于此类患者居家护理的研究现状，以帮助相关护理
＜正＞罗星街道团委切实履行引领凝聚青年、组织动员青年、联系服务青年的职责使命，以县域共青团基层组织改革为抓手，针对城市社区群体分布碎散、活动空间缺乏、组织形式单一等团组织发展难题，构建互嵌互融的“青春网格”团组织形态，“破壁”青年互动交流，解决青年的“青春烦恼”，打通服务青年“最后一公里”，不断提升基层团组织的引领力、组织力、服务力。
＜正＞一、引言随着数字中国建设向纵深发展,电网技术、功能、形态加快升级,给建设更加智慧、更加绿色、更加安全、更加友好的能源互联网带来重大机遇。当前特高压设备故障形态复杂,故障机理和规律认知不足,缺乏有效监测手段,存在设备监控强度不足、状态管控能力不强、智能化装备配置不够、班组信息化程度不高等问题,设备管理数字化转型最后一公里还未打通,数据价值还需深入挖掘。急需运用数字化、智能化手段加速设备管理全业
＜正＞胰腺癌是一种恶性程度极高、诊治存在很大挑战的肿瘤，其发病率逐年升高，预后极差。随着对胰腺疾病认识的深入以及治疗理念的不断更新，以循证医学为基础的多学科联合诊疗（multidisciplinary team, MDT）逐渐成为延长胰腺癌病人长期生存的最佳选择[1]。美国国立综合癌症网络（National Comprehensive Cancer Network, NCCN）发布的胰腺癌临床实践
＜正＞一、忧国忧民敢写敢演辛亥革命前夕,大清帝国内患民众的激烈反抗,外有列强的疯狂侵犯,危机重重,国将不国!在此期间,京沪等地有胆有识的戏剧人以身作则、奋笔疾书,编演了一系列旨在唤起民众、鼓舞民众、救亡图存的上乘之作。在以京剧为主的公演剧目中,首推集编剧、导演、主演于一身的满族京剧艺术大师汪笑侬。