论文部分内容阅读
分析了Nutch的语言分析器结构，针对Nutch对中文进行单字切分的不足，结合基于多层隐马模型的汉语词法分析系统ICTCLAS，以JavaCC脚本设计了可扩展的词法分析器，实现了Nutch对中文的词语切分。实验表明，利用JavaCC和ICTCLAS分词系统实现的中文分词完善了Nutch的中文搜索功能。