论文部分内容阅读
少数民族语言如维吾尔语、哈萨克语、乌兹别克语、柯尔克孜语等使用基本相同的字符,并且共用大量词汇,难以通过判断特殊字符来区分文种。而来自社交网络的口语文本因为长度短、噪声多以及不合语法,是相近语言识别的难题。我们提出了一种基于启发式特征的口语短文本分类方法,不需要专家知识和精心制作的规则,便可有效识别文种。为了解决训练数据不均衡问题,我们提出了两种适合不同需求的均衡策略。结合最大熵分类器,我们的系统在短文本数据集上总体能达到95.1%的精确度。