Spark任务间消息传递方法研究

来源 :计算机工程与应用 | 被引量 : 0次 | 上传用户:zj3132
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战。基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现。针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式。通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统。测试结果表明,在数值计算和迭代算法上相比Spark至少有50%的性能提升。
其他文献
受到信息技术高速发展的影响,在教学改革的过程中也逐渐认识到了信息化教学的作用。因此,许多高中在进行学科教学过程中,都会利用现代信息技术来开展教学活动。在高中化学的教学期间,教师可以通过使用信息化的教学方法来提高高中生对于化学知识学习的热情,帮助学生以更简单直观的方式掌握化学知识,从而推动高中化学教学质量进一步提升。
从文化角度看,语文教学的本质是一次文化之旅。这一文化之旅既让我们在重温中回归,又在回归中前瞻,因为回归中有新的想象和新的发现。文言文是打开民族文化宝库的钥匙,文言文的学习在中华优秀传统文化的传承方面起到了重要的作用。文言文语句凝练,简俗隽永,小学生在语言的黄金阶段能得到文言文的启蒙熏陶,对于发展学生的核心素养能打上文化底色,为学生的精神文化成长砌好基石。
期刊
统编本教材明确呈现了单元语文要素,使得教师能够根据篇章页的要求准确把握单元语文教学目标。然而,一两句精练概括的语文要素在教学中更多的是一个个抽象概念,如何将单元语文要素概念分解,融入单元单篇文本教学中?单篇文本教学又可以通过什么方法递进地达成语文要素呢?可以通过哪些具体策略掌握呢?这些都是单元语文要素落地的难点。鉴于此,笔者以四年级上册“神话”单元为例,
期刊
“读写教室”线下研究的基本理念,主要来自美国哥伦比亚大学教师学院露茜·卡尔金斯的“读写教室项目”,以及2015年“全球教师奖”首届得主南希·阿特韦尔的“读写教室”实践。“读写教室”由“阅读教室”和“写作教室”两部分组成,也称“文学圈”和“写作圈”。“空中读写教室”是基于人工智能技术在网络平台开辟的一个富有儿童情趣、界面雅致、蕴含文化气息的空中读写分享平台,是由两部分组成:“阅读教室”和“写作
期刊
报告首先介绍超级计算机的国内外发展近况,天津超算中心及天河一号整体运行发展、应用支撑环境完善情况;其次介绍气候气象领域的高性能计算需求和特点;然后介绍中心在气象科学领域的平台建设;气候、气象、雾霾等领域的应用成效;最后介绍未来几年内中心的重点研发方向和百亿亿次样机系统研制计划。
会议
地铁隧道与既有桥梁交叉的情况愈来愈多,因此保证盾构隧道下穿施工过程中既有桥梁的稳定是此类工程的基本目标。盾构隧道下穿既有桥梁的稳定性以及保障方案的选择是非常重要的研究课题,其研究方法由工程经验逐渐向理论方向拓展、由传统理论方法向新技术新理论发展、由最开始的定性或定量的单一方法向定性和定量多层次方法发展。因此,用较简单的测试手段来提高盾构隧道下穿既有桥梁的稳定性并选择合理有效的措施进行保护就尤为重要
统编本教材中篇幅短、浅显易懂的小古文数量达到了15篇,相对人教版教材数量大大增加。但在学习中,小古文却成为了小学生学习的一座高山,他们在学习的过程中遇到了“难教、难学、难懂、难用”的境遇,文言文教学还是“以讲代学”“以读代讲”为主,学生忙于读课文、记词义、记译文。可视化小古文学习策略灵活地运用导图、图片、符号等呈现参与者的多元思维,把小古文学习先降低难度和减少维度,再构建新维度,为小学生学习
期刊
全球新一轮产业变革蓬勃兴起,制造业重新成为全球经济发展的焦点,产品设计研发能力是广大制造业的核心竞争力。首先,随着产品的复杂程度不断提高,三维设计分析越来越普遍,对三维桌面显示提出了越来越高的要求;其次,在企业长期发展中,产生了大量产品研发知识,有效管理和充分应用这些研发知识是提升企业整体研发能力的必要途径;随着工程仿真技术在产品研发中应用的广泛深入,仿真分析计算成为企业产品
期刊
板块一联系已知,理解词作题意师:都说,宋词“唯美”了中国的古典文学,她初读时的惊艳、细读时的动情,散发出恒久的魅力。今天,我们跟随南宋著名词人辛弃疾走进这首宋词——《西江月·夜行黄沙道中》。(出示课题)(生齐读课题)师:读题目时,为什么要在中间停顿一下?生:“西江月”是词牌名,“夜行黄沙道中”是这首词的题目。
期刊
《玩偶之家》讲述了女主人公娜拉与丈夫海尔茂由相亲相爱转而决裂的过程,探讨了资产阶级的婚姻问题,揭露了男权社会的弊端,激励人们尤其是妇女挣脱传统观念的束缚,为争取自由平等而斗争。作品中的女主人公娜拉本来是一个任丈夫摆布的"玩偶",后来成功蜕变成了一位敢于维护自身权益、为自我呐喊的女权主义者。她出走时那一声响亮的关门声宣告了其自我意识的觉醒,展现了她坚决捍卫人格独立、追求人生价值的决心。下面,我
期刊