现代人口和生殖健康公共服务平台面向全国育龄人口及提供相关服务产品的机构和企业,为基于巨大人口资源的现代生殖健康服务产业的形成提供市场驱动力,整个平台的数据包括适龄人群相关的数据、机构数据、企业和产品数据等。随着应用范围的不断扩大,数据将急剧增长。而且,各现有信息系统采用的数据库系统各不相同,缺乏统一的数据描述标准,系统之间不能互相通信也不能共享数据,信息孤岛现象十分明显。面对如此庞大的数据库应用系统,如何提供一个统一的海量数据集成平台对这些数据进行有效集成,如何提高海量数据检索效率,对海量数据实现高效的访问等一系列问题成为急需解决的问题。本文正是来解决平台实现中遇到的这些问题的。本文就是从需求和问题出发,提出基于Lucene的海量生殖健康数据集成系统的模型。该模型借鉴数据库的视图技术,提出只读用户视图的概念,屏蔽了底层各个数据源的异构,实现了透明访问。通过开源工具Lucene和高效分词算法对系统数据进行分词索引,在底层采用并行联合查询技术,大大提高了查询效率,解决了海量数据访问的效率问题。对于用户简单请求,可以直接从索引文件或者缓存中返回数据,这样就大大减少了远程数据源的连接次数。对查询频率较高的数据源,在数据库连接池中维护其连接,这样也降低了频繁连接、关闭造成的性能开销,进一步提高了海量数据查询效率。本文提出的基于Lucene的海量生殖健康数据集成系统,结合了模式集成方法和数据复制方法的优点,形成了一套具有海量异构数据集成能力、数据访问透明、高效、数据源即插即用的应用系统。采取面向服务的体系架构(SOA)的思想,符合当前信息技术的发展趋势。本文讨论的海量数据集成模型在同类系统中广泛应用。