论文部分内容阅读
主题网络爬虫研究中一个重要问题是文本特征的提取，其好坏会直接影响主题特征的提取及网页的相关性计算。在研究了文本分类特征提取方法的基础上，分析优势率特征提取方法的优缺点，把频度、分散度作为判断要素加以考虑，提出一种改进的二元分类特征选择方法EOR，并使用得到的EOR值结合词频TF即TF—EOR来计算文档特征词的权重，应用于主题网络爬虫。仿真实验证明，EOR在中低维数下能提升文档分类准确率达5％，而TF—EOR权重计算方法好于TF-IDF方法，实验中提高了网络爬虫的抓取准确率和查全率达4％。