面向数据处理的流计算关键技术研究

被引量 : 0次 | 上传用户:robinhohome
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
日益发展的新一代无线网络对于实时数据流处理也提出了新的要求。射频标签(RFID)使得每个物品都可以接入网络,微传感器无时无刻不在检测着环境信息并传送给主控节点,这对主控节点的处理能力提出了严峻挑战。这就需要一种数据处理机制实时而精确的对数据流进行分类和计算,使其在实用价值消失之前尽可能转变成收益,因此流计算技术应运而生。流计算的主要目的是从实时的原始数据流中提取出各应用感兴趣的信息,完成一系列操作后输出给用户。该技术最大的特点是自数据流出现,就在其不断变化的过程中进行分析并从中获取有用信息传递给用户。本文通过分析数据流,建立复杂事件的处理模板,从而对复杂事件进行数据驱动的计算和推理,并对数据流进行动态的分布式控制,实时调度各种任务,正确、高效地将不同类型的任务分配给不同的任务处理器,提升系统性能。最后设计Socket通信接口,提升其应对大量连接请求的能力。本文的主要贡献包括:(1)针对数据元组以乱序的形式到达时可能会造成匹配错误的问题,提出了实时模板匹配(Real-time Query Matching, RQM)算法,把新事件组成的有序集合与模板进行对比,根据有序集中缺失事件的类型和个数判断该集合能否在未来成功匹配,丢弃匹配概率较小的子集节省空间,提高匹配速度。(2)针对数据流量较大时传统调度算法效率较低的问题,提出一种面向流计算的动态分配调度(DynamicAssignment Scheduling, DAS)算法,设立多个逻辑主机,每个逻辑主机又设立多个操作器,并行处理数据流。通过将总的调度问题转化为每个操作器的公共子问题,减少了调度开销。同时缩减了调度算法的执行间隔,提升了调度精度。(3)为使得流计算服务器通信层在大量数据流来临时仍然保持稳定的效率,使用线程池技术构建了流计算服务器,设计了系统运行支撑方案,并计算了动态线程池在面临超过其容量的请求时的开销,提出使用缓冲池存储超量连接请求而不是动态生成额外线程的方案,然后对总体设计进行优化,应对常见的突发情况。
其他文献
中国电信大量使用卫星传输技术传输应急基站信号,为降低数据配置复杂度,提高卫星带宽使用效率,应急基站可以应用IP技术传输3G信号。本文探讨了在中国电信主流卫星调制解调器
针对微波干燥过程中功率变化的影响,以初始湿基含水量20%的黄豆为模型物料,在功率密度分 别为0.8 W/g、0.6 W/g、0.4 W/g时,以四种方案进行微波干燥,当爆腰率超过5 %时停止干
以平均初始体重(31.84±0.05)g的黄颡鱼为试验对象,在室内循环水箱内做为期56 d的摄食生长试验,探讨饲料中不同叶酸、VB12水平及其交互作用对黄颡鱼生长性能、肉质及抗氧化能力
目的:观察荡脾舒郁汤治疗癌性消化不良的临床疗效。方法:选取60例癌性消化不良患者,随机分为对照组和观察组,每组30例。对照组采用醋酸甲地孕酮片治疗,观察组采用荡脾舒郁汤
<正>多年来的工会干部培训方式基本上以菜单式培训课程为主体,但也有单位根据具体需求推出订单式培训的课程安排。这样两种方式各自有什么特点和功效?成为我们探讨的话题。从
初中历史课程经历了几次改革,每次改革,其目标更明确、更具体,内容更充实、更贴近学生,使初中历史教学充满生机和活力。然而基础教育在推进素质教育过程中步履艰难,还没有摆
货币政策作为一项重要而有效的宏观调控工具,在保证币值稳定、促进宏观经济平稳增长等方面发挥着重要作用。然而,随着金融创新的不断发展,整个金融体系以及各金融行为主体的
本文以我国城镇家庭就业者的收入分布函数为切入点分析了目前工资薪金所得七级超额累进税率存在的问题。研究表明,现行的七级超额累进税率级次设定偏多,适用于高收入者的边际
本文对创业导向、网络化能力、知识资源和新创企业竞争优势的相关研究文献进行了系统的梳理,构建了创业导向、网络化能力、知识资源与新创企业竞争优势间关系的概念模型,根据