基于机器翻译技术的中文分词方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:szweixian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中文分词是中文自然语言处理中最重要的一步,分词结果的好坏会严重影响后续任务的性能。目前的研究工作中多是使用深度学习方法来进行中文分词。这些研究工作大多数只用到句子中局部的上下文信息。近年来,将中文分词当作机器翻译问题来解决的新思路受到较多关注。基于这种思路的中文分词方法利用机器翻译模型直接对整个语句进行处理,能有效的利用全局的上下文信息。然而,机器翻译模型在翻译的过程中产生的错误翻译会导致分词的准确率降低。通过研究机器翻译问题和中文分词问题的不同点,提出一种新的基于循环修正策略的翻译分词方法来解决翻译错误问题。基于循环修正策略的翻译分词方法在机器翻译模型翻译的过程中直接利用待分词的句子来纠正错误的译文,提高模型的分词的准确度。设计并实现了集成翻译器、纠错器的中文分词模型CWSTransformer,使用翻译器实现初步分词,通过纠错器完成对翻译结果的纠正。在翻译器中采用了机器翻译模型。在纠错模块中,采用了基于循环修正策略的翻译分词方法。对CWSTransformer翻译器中的输出部分进行改进,得到分词速度更快的中文分词模型CWSTransformer-S。实验在标准数据集PKU和MSR上对不同的翻译分词方法进行比较。实验结果显示在相同的实验环境下,基于CWSTransformer的分词方法在分词准确度上最多能超过其他翻译分词方法4.2个百分点。CWSTransformer-S在分词速度上相比于CWSTransformer最多能提升了近5.5倍。
其他文献
海外并购逐渐成为中国企业进行对外投资的重要形式,但是由于国际环境的不确定性和国家之间存在的差异,中国企业的海外并购呈现出了交易达成困难的情况,其中的原因值得探讨。并购经验对于中国企业海外并购交易达成的影响已经得到广泛认同,但学术界的研究主要集中在海外并购经验上,并没有详细地对国内并购经验以及同行业并购经验与海外并购交易达成的关系进行研究。解决它将有益于企业合理地应用不同的并购经验,降低海外并购中的
现有大型知识库中,实体类型信息的缺失尤为严重,而实体类型又是实体最基础最本质的属性,对很多自然语言处理任务都具有决定性的作用,因此实体分类问题是一个十分重要并亟待解决的问题。实体分类问题旨在确定一个在一段特定文本中的实体的语义类型。近几年将神经网络应用到实体分类任务上是一种趋势,然而众多基于神经网络的分类方法通常只是单独地提取实体本身和其所在文本的特征,忽视了它们之间的内在联系和实体丰富的背景信息
电涡流传感器作为检测液压油中磨粒的典型代表,具有结构简单、制作成本较低和提供详细的磨损颗粒信息等优点,受到了广泛关注。然而,电涡流传感器检测灵敏度还比较低,在实际应
学位
随着工业生产自动化系统不断发展,其安全性和可靠性受到越来越多的关注,研究基于数据驱动的调节阀故障诊断与容错控制方法,有助于提高系统的安全性和可靠性。本文针对调节阀
企业并购发展史在国际上来说已有一百多年的历史。时至今日,西方国家已经经历了5次企业并购浪潮。我国企业并购虽起步较晚,但发展迅速。2015年,我国共完成了2692起并购交易,其中,共有80起物联网企业的并购案例。物联网行业是当前最具发展潜力的行业之一,也是我国积极进行战略布局的行业之一,未来将呈现快速增长的态势。当前,物联网行业竞争激烈,企业间规模整合问题突显,如何扩张便成为众多物联网企业进一步成长
交替传译是一种广泛应用于各种场合的口译形式。其最显著的特点就是信息量大,时效性强。讲者讲话时,译员一边记录,一边进行信息处理。讲者结束一段发言后,译员必须在短时间内
随着互联网技术的高速发展,各个领域均会产生待处理的大规模数据。如何对这些数据进行处理和分析,成为了当代的研究热点。粗糙集理论为数据挖掘提供了一种有效地处理冗余数据的手段。但对数值属性进行处理时必须先将其离散化。模糊粗糙集能够直接对数值属性进行处理,减少了因数据离散而带来的数据信息损失和避免数据结构被破坏的优势,能够有效地对数据进行处理,已成功应用于数据挖掘、医疗诊断等领域。为了降低样本分布和类噪声
社会资本概念在1985年由布迪厄明确进行了界定,在此之后,科尔曼对社会资本理论进行了系统研究,随后普特南将这一概念全面引入经济和政治研究领城并得到广泛关注,并由此引发了大量学者进行研究,与之相关的社会科学文献数量呈现指数式的增长。学者们从不同的视角出发,探索了社会资本对个人、公司、社会,甚至对国家经济发展的影响。研究普遍认为,社会资本作为一种影响人们行为方式的制度、关系、态度与价值观念的综合体,对
《人民日报》是党的机关报,社论作为机关报园地,始终与党中央保持高度一致,积极宣传党的最新理论政策,对马克思主义大众化不断进行诠释。1989-2002年,马克思主义中国化面临新