论文部分内容阅读
为解决传统HMM词性标注模型不能包含远距离词特征的问题，提出了形如“WA→WB／TB”的触发对来承载远距离词特征信息，并采用平均互信息量度对触发对特征进行选择．在最大熵框架下，将选择后的触发对特征加入到词性标注系统中．利用矢量空间模型提供的语义相似度计算功能进行词语聚类，聚类的结果和语义词典融合，建立聚类触发对特征用来解决触发词“％”的数据稀疏问题．实验结果表明，与HMM相比，融合了聚类触发对特征的最大熵模型标注错误率减少了34％．