论文部分内容阅读
文章基于重复字串的统计特征，同时分析微博中存在的口语化语言特点制定相应的语言规则，采用统计和规则相结合的方法，首先对微博的语料进行分词，然后从分词碎片中提取重复出现2次及2次以上的新词，通过多层过滤，得到最终的候选新词。实验结果证明，该方法有效地保证了较高的准确率和召回率，同时保证了新词的抽取速度。