【摘 要】
：
在数据飞速发展的时代,应用技术对大规模海量的数据进行处理分析操作,能够发现数据中的规律、趋势走向,结合其他领域可以帮助制定决策,进而产生巨大的价值。分布式数据处理框架随着日益发展,基于集群框架的数据处理和数据分析等操作也逐渐变得复杂化、多样化。批数据处理已经难以满足当下对数据的实时性应用需求,数据流计算逐渐走进视野并得到广泛关注。本文主要研究了关于大数据处理框架的任务调度算法,选择Flink框架搭
论文部分内容阅读
在数据飞速发展的时代,应用技术对大规模海量的数据进行处理分析操作,能够发现数据中的规律、趋势走向,结合其他领域可以帮助制定决策,进而产生巨大的价值。分布式数据处理框架随着日益发展,基于集群框架的数据处理和数据分析等操作也逐渐变得复杂化、多样化。批数据处理已经难以满足当下对数据的实时性应用需求,数据流计算逐渐走进视野并得到广泛关注。本文主要研究了关于大数据处理框架的任务调度算法,选择Flink框架搭建分布式集群,并且在基于Flink集群默认任务调度算法基础上,设计了一个资源感知监测器,基于此提出并实现了基于动态自调节权重轮询任务调度算法。该算法选择具有代表性的性能指标量化集群性能,根据资源特点将其分为静态性能指标和动态性能指标。在实现Flink集群节点权重配置初始化后,周期性采集集群节点的性能指标数据,结合本文构建的权重计算模型对节点权重进行计算,最后通过计算判断是否更新节点权重以及实现节点更新。该算法通过动态地改变Flink分布式集群中节点的权重,基于Flink集群默认的任务调度算法进行改进,使得集群能够根据节点的实时性能分配任务请求,提升了集群资源的利用率以及降低了系统响应时延。本文搭建了异构的分布式集群测试环境并部署动态自调节权重轮询任务调度算法相关模型,使用Hibench提供的流式应用程序作为工作负载,对比分析实验结果,实验结果表明本文提出的算法能够有效减少数据处理执行时间,提高集群吞吐量,提升集群的整体性能。
其他文献
采用烷氧基硅烷对α,ω-二羟基聚二甲基硅氧烷（107硅橡胶）进行改性制得烷氧基封端107硅橡胶，考察了封端反应催化剂种类和用量、封端剂种类、封端时反应温度和反应时间对封端效果的影响，并测试了烷氧基封端107硅橡胶作基础聚合物时有机硅密封胶的性能。结果表明，采用烷氧基硅烷对107硅橡胶进行封端时的较佳条件为：催化剂选择0.01份KOH碱胶，封端剂选择甲基三甲氧基硅烷、乙烯基三甲氧基硅烷或乙烯基三乙氧
传统课堂教学环境设计,滞后于当代学习理论的发展。基于分布式认知的四维框架理论,从任务、物理、社会与时间四个维度去审视学习环境,为新型课堂学习环境设计提供了明确的思路。分布式学习环境设计具有多维特征,可以达成转移认知负荷、促进认知留存、增加认知交流的功效。
随着深度学习的不断发展与壮大,语音识别、推荐系统等领域都被广泛研究与应用。同时,现代社会中各种技术快速发展,收集的数据信息规模也出现了爆发式的增长,而为了更好的拟合用户实际需求,应用的深度学习模型也越来越复杂。虽然深度学习模型的性能越来越好,但也产生了一个新的问题,即训练深度学习模型所需要的时间和计算资源也随着数据量的增加而逐步上升。分布式学习系统也在互联网领域得到广泛应用。而提高分布式机器学习系
随着媒介技术的飞速创新,每个学生都可以在充分信息环境下进行学习。区别于集中学习方式,这种不依托教室空间、教师辅导、教材指引等集中要素的分布式学习,对教育资源供给提出了新的考验。传统的经验传承逐渐被个性需求所替代,教育资源中需要筛选出个性化的动态资源进行智能主动供给。首先,分布式学习中知识资源兼具内蕴式和发散式特性、承载式供给和多向性传递的特点。其次,要从原则、流程、方向、策略四个方面做好对个性动态
学习环境设计有多种理论。学习环境设计主要从四个方面进行探讨:学习中心的学习环境设计。知识中心评估中心的学习环境设计和社区中心设计的学习环境。中小学生学习环境的建设是教育现代化发展的基础。在梳理中小学学习环境现状的基础上,提出了分布式认知理论对学习环境设计的三个启示。以多媒体教室的典型学习环境为例,尝试在分布式认知视角下构建多媒体教室的整体模型结构。提出多媒体教室的内部设备并分析其应用性能,通过改进
2022年教育部印发了《义务教育劳动课程标准（2022年版）》，把劳动教育提到了一个更重要的新位置。劳动教育在特殊教育中具有独特的地位和价值，可以为学生未来的家庭生活和社会生活奠定基础。本文以莆田市特殊教育学校为例，对特教学校义务教育阶段劳动教育课程的实施情况进行分析和研究，探索莆田市特殊教育学校在劳动校本课程实施中采用的有效策略，为更好地开展劳动课程提供参考和借鉴。
目的 系统评价患者对护理机器人的使用态度，为国内护理相关研究提供参考。方法 检索PubMed、Web of Science、Embase、Ebsco、中国期刊全文数据库（China National Knowledge Infrastructure, CNKI）、万方数据和维普数据库中有关患者对护理机器人使用态度的质性研究，检索时限均为建库至2022年3月。按照澳大利亚乔安娜布里格斯循证卫生保健中
目的 探讨兔胚胎-胎仔发育毒性实验中，经口灌胃环磷酰胺建立兔致畸实验模型的方法，为致畸实验研究提供实验室背景数据。方法 取健康受孕的普通级新西兰兔66只，按动物体质量采用随机数字法分为溶酶对照组（0.5%羧甲基纤维素钠）和环磷酰胺染毒组（20 mg/kg）,交配成功后于孕兔GD6～GD18按2 mL/kg进行灌胃染毒。染毒期间观察临床表现，统计孕兔的体质量、成功受孕率、黄体数、活胎数、死胎数和吸收