论文部分内容阅读
中文抽词在中文自然语言处理中是最基础的工作。本文提出了一种无词典的t-score和二分相结合的抽词算法。它首先对原始文本进行预处理。利用噪音词的辅助信息来做初始切分，经过处理后一部分词被抽取出来，存入结果集。接着利用本文的抽词算法来进行二次抽词，本算法应用了N—Gram的思想，经过实验证明，该算法不但抽词速度快，而且抽取出的词相对长度大，维护了中文语言的完整性，为进一步进行语义分析和索引构建打下了良好的基础。