随着互联网平台的发展,众多电商门户平台开始面临对海量运营数据的处理问题。不仅要解决大数据高并发下平台性能问题,还要考虑如何运用大数据优化业务逻辑,实现千人千面的个性化数据推荐。传统的大数据优化方案(例如:使用缓存框架、优化数据结构、更换数据库类型、优化业务逻辑等)在一定程度上能够缓解高并发下的性能问题,但需要对数据结构或业务系统做大幅度的调整才能实现。往往任务重、工期长,对业务平台及数据存在技术风险。而从改造侧重点看,也往往是以牺牲用户体验为代价换取平台的稳定性。本文以智能礼品推荐平台大数据项目的研究与实现为主线,就以下三个核心环节做了深入的研究和阐述:(1)研究并改进传统将目标网页下载到本地后进行索引的网络爬虫机制。尝试搭建相对独立、移植性高、通用性强的网络爬虫系统。将种子链接的管理、抓取数据的审核及数据索引等流程封装并建立标准API接口。已有业务体系通过调用相应API即触发相应的操作;(2)研究分析以Lucene为框架的大数据检索方案优劣,搭建相对独立的搜索服务器来处理项目中海量运营数据,弥补传统数据库在处理大数据能力上的不足,实现在对已有业务数据库不做改动的基础上,解决大数据项目平台中的数据索引及搜索需求;(3)研究分析已有人工智能及个性化智能推荐服务算法,利用项目已有的用户数据及礼品数据,创建用户数据模型,并对常用个性化智能推荐服务算法加以改进,最终实现本项目中基于送礼双方用户个性化的礼品精准推荐需求。通过以上对大数据全文检索、网络数据爬虫及个性化智能数据推荐等领域进行的研究与整合,本文创新地实现了一套灵活高效的数据聚合及数据智能推荐解决方案。首先,方案解决了传统数据库对大数据模糊搜索的性能问题;其次,方案采取对元数据二次索引的方式,既保证了元数据的安全,又可根据业务需求灵活调整索引结构,方便对后期的数据支持;最后,通过对用户模型及智能推荐算法的建立,使平台改建方案实现了业务层面的价值提升。最终通过实践,证明了本文研究方案的可行性与实用价值。同时,方案对众多大数据互联网平台的数据聚合及数据智能推荐都具有广泛的借鉴意义。