随着互联网技术的快速发展，网上信息的迅速增加，人们越来越依赖于搜索引擎来获取互联网上有用的信息。搜索引擎在给用户获取信息带来方便的同时也把用户带入了信息过载的窘境。如何充分利用网络资源，把更有效、更准确的信息提供给用户，这已成为搜索引擎技术研究的热点问题，也是本文的研究初衷。本文针对搜索引擎系统中若干关键技术进行了较深入的研究，研究内容主要包含以下几点：(1)提出了一种利用网页链接文本作为语料库的新词识别方法。将解析出的链接文本经过分词和频次统计后，计算相邻两词或字的互信息值，将互信息值大于某个阈值的相邻词或字的组合视为新词，并对识别出的新词经过进一步的排错处理。(2)提出了一种基于关键词提取的网页去重算法。提取网页标题的关键词，以标题关键词为种子，利用窗口搜索方式在正文中查找与标题关键词相关度高的其它关键词，将搜索到的所有关键词组成该网页文档的关键词集，计算两篇网页文档关键词集的重叠率，重叠率大于某个阈值则将这两篇网页文档视为重复网页。(3)设计了一种搜索引擎排序机制，利用搜索引擎数据对象的结构化信息计算词的权重，以倒排索引的方式建立索引库，并为用户提供与检索和或检索两种检索方式以方便用户使用。(4)提出了基于粒子群优化算法的文本分类算法：PSOSVM和PSOKNN。SVM文本分类的核心是一个有约束的高维优化问题，PSOSVM算法利用粒子群优化算法来解这个高维优化问题，用粒子种群的有指导的随机搜索技术，在样本空间内并行搜索，降低了计算代价，提高了文本分类的速度。PSOKNN算法在搜索K近邻的过程中，粒子群跳跃式移动，可以快速的找到测试样本的K个近邻，使得在保持K近邻法分类性能不变的情况下，分类的效率得到很大的提高。