基于互信息的语言模型回退平滑算法

来源 :应用科技 | 被引量 : 3次 | 上传用户：miskiller

【摘要】

：

针对二元模型,提出了一种基于互信息的回退(MI Back-off)平滑算法.从互信息的角度,分析词之间的搭配关系,根据模型中每个二元对的互信息对其概率进行不同程度的折扣,并利用低阶模型对零概率事件进行补偿,通过极小化困惑度的原则体现新算法的合理性.在不同类别测试集下,该平滑算法与传统Katz平滑算法相比,模型困惑度下降均超过20%.

【作者】

：

张磊褚昆郭黎利

【机构】

：

哈尔滨工程大学信息与通信工程学院

【出处】

：

应用科技

【发表日期】

：

2009年04期

【关键词】

：

中文信息处理统计语言模型平滑算法互信息困惑度 information processing of Chinese characters statis

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

浅谈完形填空的解题技巧

在各种英语考试中,完型填空一直是学生难以突破的一个难关。它的难度主要体现在它的信息不完整,一般除了第一句外,全文平均每隔十来个词就设一个空格。尤其是有些时候需要填

期刊

完型填空上下文完形填空主要体现引导学生英语考试逻辑联系解题技巧短文学生考试

好贷网：互联网上的借贷“红娘”

买房、买车、做生意、供孩子上学……电话里的每个理由都是对资金的巨大渴求，但接电话的人不都是财大气粗的银行家。李明顺一想，为什么就不能通过互联网将他们介绍给急需客户的金融机构呢？　　2013年3月，李明顺梦想成真，成立了沟通金融机构与贷款人的好贷网。定位于搭建一个信息共享的平台，“想吃饭，上大众点评；想住酒店，上携程；想贷款，就上好贷网！”李明顺对《中外管理》说。　　目前，好贷网已经为全国64个城市

期刊

互联网红娘借贷《中外管理》金融机构信息共享贷款人银行家

游学日本:丰田模式与“日企病”反思

对一位对日本企业和日本管理模式有深入比较研究的学者而言，丰田汽车显然是北大国际（BiMBA）杨壮教授一直跟踪研究的重点企业之一。然而，就在去年，这家销售数据一直高居全球汽车同行榜首的企业，却爆出被美国通用汽车和德国大众汽车超越，跌居第三。想象一下，通用汽车可是刚经历破产重组没几年的，如今却一跃领先。丰田怎么了？　　其实不仅仅是丰田，其它许多日本企业，比如家电行业的索尼、松下等，也普遍遭遇业绩下滑，

期刊

日本丰田反思游学日本企业丰田汽车管理模式重点企业销售数据

中日对峙，企业家如何掌舵？

中日钓鱼岛争端,正随着日本右翼“购岛”事件的推进而进入“深水区”。整个过程里,两国政府喊了多年的“中日友好”基调,正以惊人的速度土崩瓦解。而互为重要贸易伙伴的国家出现这样的对峙,着实给大量被夹在中间的企业家出了一道大题。　　要读懂这道大题,先要看看中日对峙会走向何方?　　之前曾有学者总结:中日长期友好的基础是不忘历史、面向未来。但两国老百姓的心态却出现越来越明显的错位:日本人越来越“面向未来”,在

期刊

企业家对峙钓鱼岛争端日本右翼中日友好土崩瓦解贸易伙伴

斜轴伸水泵的导轴承材料应用分析

介绍国内大型斜轴伸水泵导轴承的结构型式,主要有油润滑和水润滑两种,油润滑轴承材料主要有巴氏合金和弹性金属塑料,水润滑轴承材料主要有P23酚醛塑料和F102复合材料,具体应

期刊

斜轴伸水泵导轴承油润滑水润滑

关于天津大道墩柱的受力特征及钢筋合理性布置的探讨

该文结合空间有限元计算程序Midas FEA的计算结果,对天津大道的独柱花瓶式异型桥墩受力特征进行分析,对墩帽钢筋的合理性布置进行探讨,以期指导设计。

期刊

独柱花瓶式异型桥墩墩帽局部分析深梁材料非线性裂缝抗剪single-column vase-deformed pierpartial analysi

基于互信息的语言模型回退平滑算法

其他学术论文