软硬件协同的组播优化设计

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:seanstarseanstar
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据的发展,大数据应用对应的数据集不断增长,呈现出数据处理向超级计算机系统迁移的趋势,超级计算机系统也以其高速的计算性能和海量的存储能力吸引着大数据应用在其上进行部署运行。然而超级计算机系统与传统的数据中心存在比较大的区别,传统的数据中心一般是基于以太网交换技术进行连接,搭载在其上的软件平台(譬如Hadoop,Spark等)也大部分是基于TCP/IP协议栈进行节点之间的通信,但是在超级计算机系统中,有很大一部分是采用InfiniBand技术进行互连或者直接采用自主设计的互连子系统(天河二号)进行互连,这些互连技术搭建的超级计算机系统可能不支持传统的以太网协议,为了方便传统的以太网应用和互联网服务部署在超级计算机系统上,需要在已有的高性能系统中提供对传统以太网协议的支持。除此之外,在数据中心中还存在大量的组播通信需求,在MapReduce等分布式系统典型的处理过程中就包含“Map”和“Reduce”操作,在“Map”过程中主节点将任务分发到多个节点,并通过不断迭代进行运算,运算过程中会产生大量one-to-many、one-to-all和all-to-all等流量类型。因此高性能系统在支持了传统以太网协议的基础上还需要对其组播实现提供更好的支持。文章对天河二号互连子系统进行研究,分析其对传统以太网支持的实现方式,针对其通过软件层多次单播实现组播这种方式进行优化。软件层多次单播会引入额外的数据拷贝过程,因此本文提出一种在网卡部分支持组播报文的生成与发送的机制,进而减少数据在软硬件层次之间的拷贝次数,达到优化组播通信性能的目的。
其他文献
奥地利著名作曲家舒伯特(Franz Pcter Schbert 1797—1828)是十八世纪维也纳古典乐派的继承者,又是十九世纪欧洲浪漫乐派的奠基人。 1827年,也就是在舒伯特逝世的前一年,在疾
以对米的实际购买力进行折算,从所见史料看,春秋后期范蠡的商业资本,可达人民币数百万元;齐桓公的盐业资本(作为战国时期的案例),可达人民币2000万元;西汉武帝时期的巨万之家,可达人民
伴随社会生活节奏的不断加快,促使人们在社会生活中的压力不断增大,心理健康问题得到了极大的关注,大学生群体作为社会建设的接班人,他们的身心健康尤为重要,现阶段已经成为
作为俄罗斯联邦“第二代”民族政策战略的纲领性文件,《2025年前俄罗斯联邦国家民族政策战略》的出台标志着俄罗斯在民族政策领域提出了新的发展目标与任务,其将强化公民认同和
文章对番茄晚疫病病原菌生长温度及其污染纯化进行了初步研究。结果表明,番茄晚疫病病原菌可耐最高温度43℃,4cc情况下菌丝仍可以生长,孢子囊在8h后所有的孢子释放完毕,同时提出
【正】 在天山南北广阔的地区,到处都可以听见人们歌唱着《12木卡姆》中一些动听的曲调。遇到盛大的节日,在人山人海的巴札上,常常可以看到各种各样的乐器:沙塔尔、弹拨尔、
近些年,我国社会经济的发展十分迅速,城市建设的步伐也随之加快,尤其是城市基础设施建设也越来越完善。但是,随着城市的不断发展,对城市功能的要求也随之不断提高,这就要求建
桑科桑属(Morus)植物全世界共有12种,我国有9种[1,2].20世纪80年代初,日本学者Hirakura [3]领导的一个研究小组对桑白皮(Morusalba L.)进行了系统的化学成分研究,从中发现了
知识产权战略已经成为各国政府增强国家竞争优势的重要手段.本文以各国知识产权战略经验为基础,系统分析了政府在知识产权制度创新、组织建设、教育发展和战略计划制定等四个
目的了解骨孤立性浆细胞瘤(SPB)及多发性骨髓瘤并发骨浸润(BEMM)的临床及病理特点。方法回顾性分析12例SPB及10例BEMM患者的实验室检查、病理免疫组化。结果 SBP的红细胞沉降率(ES