论文部分内容阅读
农业专业搜索引擎对特定主题的农业信息进行检索，其信息量多、精确度低。针对此现状，以开源搜索引擎Nutch为技术框架，对大豆主题网页资源采集系统进行了研究与设计。以大豆信息为主题，研究了主题相关度判别技术，借鉴BM25F模型的分域思想、基于向量空间模型，提出了大豆主题相关度判别算法。在Nutch中引入IKAnalyzer中文分词工具包，实现了大豆主题相关度的判别。实验结果表明，该算法能够显著地提高大豆主题网页资源采集的准确率。