【摘 要】
：
为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式
【机 构】
：
中国科学院国家空间科学中心,中国科学院大学计算机科学与技术学院
论文部分内容阅读
为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Kafka获取消息队列流的数据,利用内存对数据进行迭代运算,提高数据运算速度,实现实时的、高吞吐率的有效载荷参数解析。仿真结果表明,使用该方法在实时吞吐率上较单机多线程处理方法有较高提升,能有效满足实时参数解析的要求。
其他文献
在低渗透油田应用电流法调整游梁式抽油机平衡，因电动机功率因数过低而无法真实反映抽油机平衡状况，常出现虚假平衡现象。传统电流法无法满足油田日益增长的变频设备的需求，不能
在原SRB-HX-14型硫酸盐还原菌测试瓶的基础上，对培养基配方和生产工艺进行了优化调节，研制了SRB-HX-7型硫酸盐还原菌快速测试瓶。采用该快速测试瓶测定水样中硫酸盐还原菌的含
<正>清初,被誉为"南北两大诗人"的王士祯和朱彝尊,不仅以杰出的创作实践,成为一代宗师,更主要的是,各自又提出了影响深广的诗词理论,指导了当时的创作,为清代诗词的繁荣作出
随着强降水等极端天气事件的日益频发,各大水库对专业水库气象服务的需求日渐迫切。基于WebGIS技术,利用Leaflet地图插件、Boootstrap前端框架、B/S架构对集历史雨量、面雨量
目的探究与分析微型种植体支抗在口腔正畸治疗中的临床效果。方法选取我院自2012年1月至20t4年7月收治的接受口腔正畸治疗的患者60例，其中牙弓前突、开唇露齿患者分别为33例、
2004年我国完成航空运输总周转量240.76亿吨公里,跃居世界第三位,标志着我国朝着建设“民航强国”的目标迈进了一大步。在此背景下,如何进一步完善我国民航机场体系,充分发挥
法律人思维应当以法教义学为其本源,社科法学为其佐证。本文拟揭开朱孙之争背后的面纱,从法教义学与社科法学的相对关系、历史渊源视角出发论证法律人思维的真谛,以期许中国
随着我国水资源污染的不断加剧,饮用水处理的难度不断增加。饮用水安全问题已经引起人们的高度重视。对此,本文介绍了几种有效的水处理技术。以满足人们对饮用水质量的要求。
在保障被执行人依法享有的基本生活及居住条件的情况下，人民法院可以划拨被执行人的住房公积金。符合提取条件的，可以将住房公积金划拨到住房公积金监管账户之外；不符合提取条件