网络现在已经深入到人们生活的方方面面，网络中的资源堪称海量非常丰富，随之而来的问题就是如何有效的搜索自己需要的信息。从如此巨大的信息源中精确找到真正想要的内容确实是一件困难的事情。最有效的解决方法就是通过搜索引擎来查找需要的数据，它可以帮助用户快速定位自己所要查询的资源。现在的公共搜索引擎只能针对Internet，如google、百度、Bing等，如果想对诸如企业内网中的似有数据源进行搜索的话，则显得不太方便或根本不可能实现。本文就是针对该类需求设计一个搜索引擎，可以扩展到企业、学校内部网络实现非结构化文档的内容检索。本文首先介绍了设计中的关键技术，Lucene，Ajax，服务器推送的需求和这些技术的工作原理。分析框架来设计一个搜索引擎，然后在此基础上，有三个主要模块：搜索机器人模块，索引模块和搜索模块，并描述三个模块之间的关系图，模块之间的低程度耦合。针对三个模块进行分析，设计和实施。首先，搜索机器人模块是网络库和索引库的基础，高效、灵活的数据采集，将为资料库的建立做好铺垫；第二，索引模块是实现高效的数据检索的基础，合理的文件内容索引和索引的数据存储结构，将直接影响搜索速度，并会影响用户体验。合理的设计是非常重要的，在此基础上，本系统采用Lucene的倒排序索引，其效率比传统的索引要高的多；最后，搜索模块检索用户需要的数据，降低服务器的数据分页和客户端的数据传输，并实现Google Suggest的Ajax效果，以改善用户体验。最后，文章总结了整个系统的设计和实施，以及未来的扩展，主要是如何使用基于MapRedue的分布式Hadoop库实现分布式抓取，索引和检索，以及如何使用内存数据库建立更高效的URL库和线程池，以提高搜索机器人的抓取效率。