在网络与计算机普及并渗透千家万户的当今社会,我们迎来了大数据DT时代,因网络中大部分访问报文由HTTP协议承载,高效实时的采集HTTP数据并挖掘其中的信息有助于更好的认知真实网络数据蕴藏的价值以及了解网民的行为习惯,进而可以优化相关网络服务并可以更有针对性的为用户提供服务。本文首先讲述了万维网中HTTP协议的工作原理及报文特点并介绍了分布式计算大数据平台的原理,为后文系统开发与大数据分析处理奠定理论基础。然后设计并开发了 HTTP协议采集系统,该系统可以实时的从网卡接收数据,对乱序到达的报文进行重组,结合多模匹配算法根据用户定义字段去解析报文,生成格式化话单。完成开发后,系统通过了功能测试及性能测试。为了使系统更好的适配真实网络环境,在分析了采集系统性能影响因素后,本文从软件结构和报文解析两个角度对系统进行优化提升。随后将HTTP协议采集系统部署于核心网及校园网中,实时采集数据,分别针对核心网和校园网的话单数据进行分析,了解不同群体上网产生的流量特征及HTTP报文特点。此外,本课题还利用话单数据对斗鱼软件进行用户留存及操作行为分析,将HTTP大数据分析应用于商业软件分析中,帮助软件更好的了解用户群体。最后论文对HTTP协议采集系统的设计实现与应用进行了总结与展望。