论文部分内容阅读
为了提升Web引擎的检索服务性能和扩展性,提出了一种索引划分方法,依据该方法改进了检索结构,避免了冗余查询,并加速了内部并行化查询过程。按照文档主题和相似URL对索引文档分类,而索引节点内则按照词项划分,实现了索引节点查询间和查询内的并行。根据索引分类的结构,改进了系统内部查询逻辑,设计了Aggregator(简称Agg)进程队列,实现了异步处理高并发查询。实验结果表明,优化的Web引擎结构总体上能够降低查询开销,提高系统吞吐量,相对于传统Web搜索模型,其查询速度和吞吐量分别提高了20%和25%。