论文部分内容阅读
笔者运用STORM分布式系统的强大计算能力以及高性能的KAFKA分布式消息系统来实现海量数据实时统计系统。该系统通过KAFKA发送、存储、接收接口将计算的原始数据实时传递给STORM。STORM通过Spout作为KAFKA的Consumer接收数据，将数据转发给内部组件Bolt，通过Bolt分布在多台机器进行数据计算，最后又将计算后的数据返回给KAFKA供第三方应用。STORM支持数据重发，通过ACK机制保证数据计算的可靠性。最后通过电商订单统计系统实例，给出海量数据实时统计系统详细的设计方法。