在当前的互联网时代,存在着数据增长迅速,然而信息庞杂,用户想要从海量数据中搜索有用的信息费时费力的问题。用户需要的是更详细、细分的信息,针对这种情况,本文提出了一种基于主题的数据API检索平台。本文设计的分布式、可扩展的基于主题的数据API检索平台,首先将海量的互联网信息采集到子系统中,然后对数据进行分类,对每一类的数据通过检索的方式提供给用户,用户通过选取自己感兴趣的信息来消费平台中的数据。为了提供这样一个数据API检索平台,首先是能够将大量的网页抓取下来,并且需要此功能支持水平扩展和稳定性。此外为了减少人工成本,又能有效的提取网页中的信息,本文提出了半自动化的基于模板的网页信息提取方法。面对海量的互联网文档数据,需要提供一种合理的方式对数据进行分类,以便用户有针对性的选择对自己有用的数据。为此,本文设计了基于主题的数据分类和检索系统。通过基于LDA主题模型来推断文档中的主题分布,然后根据主题分布建立相应的API主题和相应的API-Key。考虑到API主题及对应的API-Key数据量很大,所以需要对这些API主题提供检索方式,通过基于相似度的方式来对检索出来的API主题进行排序,最后将API主题及其对应的结果数据集返回给用户。本平台提供多方面的数据,通过简单的API接口提供给用户,不论是科研还是商业用户,都可以消费该平台中的数据。最后通过实验分析,证明本平台具有一定的科研和商业价值。