互联网上的以HTML网页文本形式承载的信息,呈现出大规模爆炸形式的剧增,不只对分类精度提出了新的要求,更重要的是重新定义了分类速度的标准和要求。以往关于文本分类的研究侧重于算法的精细设计以提高分类精度,而现在除了对精度有所要求,对于分类速度快速提升的需求尤其迫切。面对互联网快速发展时期的这一新的挑战,本文对大规模Web文本快速分类过程中的若干关键问题展开了深入的研究,取得了具有一定借鉴意义的进展。本文研究了相关经典的网页正文提取技术,发现大多数算法是需要分析HTML标签意义或者HTML结构特点的,而这个分析过程会非常耗费时间。本文提出了基于窗口长度的最长连续串的提取算法。该算法无需分析具体HTML标签意义和结构,只是根据字符串的长度的特点就可以求出正文所在的位置。提取出网页正文文本后,由于互联网上有很多文本信息是重复的或者是相似的,为了降低计算量,需要做文本去重。算法Simhash是大规模网页去重的经典算法,但它是针对词语的组合形式,对于词语顺序排列没有检查,由此本文提出用Shingle思想有序词语的划分作为局部语序影响因子,加入到Simhash算法中,弥补了Simhash算法中语序无关的不足。接下来是文本分类过程。在文本分类的几个处理阶段中,除了将各个阶段算法应用到了分布式并行化框架Hadoop中,着重的优化了NB算法分类。主要思想是参考信息检索中倒排树结构,在索引树节点中存储需要重复计算的中间结果,以及使用倒排索引结构来查询检索词语及其某些分类信息,同时做了横向和纵向的剪枝交叉优化,大大提高了分类速度。