藏文词向量表示关键技术研究

来源 :青海师范大学 | 被引量 : 3次 | 上传用户:aini123321231
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语言单元的向量表示是机器学习的基础性工作,其目标是以优化的向量表示语言单元,以便计算机能够更好地理解自然语言。近年来,随着神经网络技术的发展,向量表示在自然语言处理领域发挥了重要的作用。英、汉等语言的词、句子和文档表示取得了丰硕成果,并得到了广泛应用。藏文语言单元的向量表示技术处于探索和起步阶段,其研究对藏语语言的特征分析以及用深度学习技术处理藏语言具有重要的理论意义和广泛的应用价值。本文借鉴英、汉等语言的词向量表示技术,结合藏文的特点,从藏文字构件分解、藏文文本分词、藏文词向量评测和藏文词向量表示等四个方面研究了藏文词向量表示的关键技术。主要工作包括:(1)藏文字构件分解构件是藏文的最小组成单元,蕴含着丰富的词义信息,而藏文字输入到计算机中是一个整体。若要获取构件的词义信息,需要将整体藏文字分解为构件。本文归纳总结了藏文字的结构及构字原则,并对藏文字形进行分类。在此基础上,设计了藏文字构件分解模型和算法,以藏文字形分布统计为例,验证了字构件分解算法的有效性,得到了藏文字形的一般性分布规律。(2)藏文文本分词词是自然语言处理中最基本的处理单元,藏文文本是字的序列,词和词之间没有分隔标记,因而需要文本分词。本文通过分析藏文文本分词的现状,针对藏文文本分词中存在的主要问题,提出了基于规则的句分块、块切词的分词方案。句分块方面,设计了基于临界库的藏文句分块算法。块切词方面,分析了主词典库的构造方法,并设计了索引查询算法、紧缩词识别还原算法、多策略紧缩格识别算法、未登录词识别的一揽子算法和歧义消解的局部高词频优先算法。(3)藏文词向量评测词向量评测的目标是评价词向量模型的性能,包括内部任务评测和外部任务评测。内部任务评测通过词相似度、相关性和类比评测集等评价向量模型的性能,是一种广泛使用的词向量评测方式。由于藏文词向量研究处于探索起步阶段,还没有用于评价藏文词向量性能的评测集。本文借鉴英、汉文词向量评测集构建方法,设计了藏文词向量相似度和相关性任务评测集构建方案,依据此方案建立了藏文词相似度评测集TWordSim215和相关性评测集TWordRe]215,并验证了其有效性。(4)藏文词向量表示传统神经网络中,词作为原子对象建立基于上下文信息的词向量表示。融合子词级别的信息能更好地捕捉词义,本文结合藏文的特点,提出了基于构件的藏文向量模型、融合构件和字信息的藏文词向量表示模型。基于构件的藏文向量模型以字、词的构件信息建立向量,能够较好地揭示构件的位置特征及添加规则,在藏文字拼写检查上取得了良好的效果。融合构件和字信息的藏文词向量表示模型,将构件和字及其位置信息融入到词向量表示中,在性能上比传统方法有了显著的提升。
其他文献
目的验证虎力散胶囊外用治疗骨性关节炎疼痛的临床疗效。方法回顾性分析81例膝关节骨关节炎患者,并分为A组(虎力散胶囊组)54例,B组(理疗组)27例进行临床对比观察。结果 A组和
过去30年,中国经济快速增长的背后,伴随着经济结构的快速变化:宏观层面,居民消费和居民收入占GDP比例不断下滑;微观层面,居民消费倾向和劳动参与率呈下降趋势。另一方面,作为
随着国民经济的迅速发展,我国城市化水平不断提高,城市交通渐渐陷入困局。城市轨道交通由于有着运载量大、速度快、环保节能等优点,在我国各大中型城市纷纷投入使用。在这一
卡西尔将人类的全部文化成就看作是人之为人的本质所在,是人特有的精神功能创造,符号一词就是这一功能及结果的概括。中国传统山水画作为中国画的主流之一,具有中国文化的典
目的:探讨气相色谱测定甜蜜素的改良方法。方法:利用毛细管柱进行分离测定并优化色谱条件;对样品处理进行改进,固体样品采用均质、超声波处理;对衍生化反应进行改进,简化正已
细菌纤维素是一种可再生的、环境友好型纳米级纤维素,由木醋杆菌等菌属合成,具有结晶度和纯度高、机械强度高和生物相容性好等特点。本文综述了细菌纤维素的合成及结构特点及
国内外防护林体系效益研究动态综述向成华黄礼隆蒋俊明(四川省林业科学研究院)唐光(平武县林业局前言根据国内外学者发表的有关防护林体系效益的大量文献,综合论述防护林体系的生
<正>一、基层检察院首先要抓住三个关键,强化学习提高认识一要提高思想认识,真正认识建立检察院提起公益诉讼制度的重要意义。建立检察院提起公益诉讼制度,是当前司法改革大
加热炉是钢铁生产过程中的重要设备。加热炉炉温优化就是在满足加热炉生产工艺和过程约束,保证加热炉内钢坯符合轧制工艺前提下,合理设定加热炉各段炉温,实现加热炉生产过程
以海南省为例。论述了太阳能抽水系统在农业灌溉中的山丘陵地高坡作物的应用,提出了利用绿色健康的太阳能作为能源,科学高效的解决远距离调水灌溉农作物的可行性分析和综合应