分布式共享内存的可扩展性研究和优化

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:shao_xiao_dong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式共享内存为用户提供了一个分布式机器集群上的共享内存模型,其为用户隐藏了机器之间通讯的细节从而增加了编程的便捷性和程序的可移植性。分布式共享内存的主要开销来源于其执行协议过程中产生的机器间通讯。随着最近网络设备的不断更新,机器间通讯的延迟已经降低至微秒水平,吞吐率也达到了百吉比特每秒的量级。这或许意味着机器间通讯的开销对分布式共享内存系统的实现影响将得到一定程度的改善。因此,本文致力于讨论在现有环境下分布式共享内存的可扩展性课题。本文首先构建了SNOP这一分布式共享内存框架,该框架同时具备可移植性强和模块化协议设计的特点。在可移植性方面,其为用户实现了基本的内存分配、线程管理、同步原语等接口。这些接口在签名上与多核环境中的接口基本保持一致,为用户进行程序编写和移植提供了便利。在实现这些接口的过程中,本文通过利用现有系统的内存布局和向链接器提供订制化的脚本保证了用户实现分布式共享内存框架上应用的透明性和便利性。在协议设计模块化方面,SNOP为设计者提供了易用的网络消息收发接口和可订制性强的消息模板。基于这一特点,本文首先在SNOP上实现了IVY系统中的分布式共享内存协议。随后,本文对SNOP框架中的实现进行了三方面优化。第一方面是为提高系统的整体执行效率,本文设计了一种新的分布式共享内存协议:基于广播的分布式共享内存协议,并实现在了SNOP框架上。第二方面的优化改善了协议的正确性和执行性能。本文首先讨论了基于广播的分布式共享内存协议中的正确性问题和协议停滞问题。针对解决这一问题所需要的顺序要求,本文提出了一种基于序列号的解决方法。为提高该方法的性能,本文进一步结合现有网络设备的特性,提出了该方法的改进方案。最后一方面的优化改善了同步原语的执行效率。根据对直接基于分布式共享内存的同步原语的性能分析,本文发现其实现将触发多次协议执行过程,从而影响了整体执行效率。基于这一发现,本文引入了同步管理器的概念,并通过其辅助,优化了同步原语的实现。最后,本文对SNOP框架的实现和优化进行了性能测试和分析。测试选取了两种不同的内存访问模式和三种不同类型的应用程序。本文从同步原语、协议性能和可扩展性三个方面出发,详细介绍了SNOP框架在不同场景下的表现。首先本文给出了不同的锁实现的性能比较。测试表明,SNOP提出的基于同步管理器的自旋锁实现相较于直接使用分布式共享内存实现减少了平均89微秒的执行时间。随后本文在不同的应用程序中对比了基于广播的分布式共享内存协议和IVY协议的执行性能,结果显示其最高可以减少33%的应用程序执行时间。最后,本文还通过三种不同类型的应用程序,对比了不同机器数量对它们性能的影响。这一测试表明了基于广播的分布式共享内存协议可以提高SNOP框架的整体可扩展性表现。
其他文献
以农业为依托,发展农业特色小镇是实现贫困农村造血式扶贫的现实出路。土地是农业特色小镇发展的核心问题,土地入股是盘活农村资源、促进农民共享项目收益、缓解企业资金压力的主要流转方式。鉴于此,文章提出贫困地区可利用土地入股方式,吸引外来企业发展农业特色小镇,实现项目利益共享。合理的收益分配机制是各参与方合作的基础,更是农村土地入股流转的关键。针对贫困地区农业特色小镇土地入股合作模式特点,建立合理的收益分
信息技术的飞速发展,全球定位系统的迅速普及,使得针对空间数据的查询、挖掘技术都变得越来越成熟。空间数据作为当前最为普遍的数据类型之一,因其数据量庞大、数据不断集成
近年来,风险投资行业蓬勃发展。风险投资机构通过联合投资,在各自的投资“圈子”内交流互动。从网络视角来看,“圈子”给成员们带来了更多的投资机会,频繁互动也有利于吸收经
随着社会开始走向智能化,网购成为人们的主要消费方式,消费者搜索商品的过程一般通过电商平台的检索算法实现。对于服装购物而言,传统的基于文本描述的服装检索算法(TBIR)越来越不能满足人们精细的检索需求。得益于深度学习和计算机视觉的蓬勃发展,基于图像内容的服装检索算法(CBIR)成为主流,即根据消费者上传的服装图像检索其同款服装。近阶段,对图像局部区域信息的抓取和对齐是该领域研究的一个热门方向,因此,
随着信息技术的快速发展,信息安全与防伪已成为国家、社会乃至个人重点关注的问题。包括身份证、护照、银行卡以及支票、高精尖商品等的伪造,给国家和个人带来严重安全隐患,因此寻求安全可靠的防伪加密技术非常具有重要现实意义和理论研究价值。近些年快速发展的基于随机相位编码的光学防伪系统是将防伪图像编码成高阶纯相位信息,然后采用二元光学技术将其制作成光学防伪掩膜,具有常规强度探测器难以感知的优点,大幅推动了防伪
人脸表情识别是通过计算机来对人的面部表情进行特征提取并分类,使得计算机能够得到人的情感信息,从而可以推测人的心理活动状态,实现人机高级智能交互。面部表情识别技术是心理学、图像处理、生理学、模式识别和机器视觉等领域的一个很具有挑战性的交叉课题。为全方位、立体性的记录网络用户行为与偏好、提供更加精准的个性化信息推荐与网络用户群体定位、以及预测网络用户信息行为提供参考与借鉴。用户在阅读相关文档时,面部表
近年来,随着党委政府工作事务不断细化,党政机关公文数量有逐年递增的趋势,县级机关公文传输压力也越来越大。涉密公文在所有公文中对保密要求最高,使用和管理也最严格,而且不得通过未经加密的网络或传真传发。通常,在县域内不同单位之间涉密公文的传输是通过专门负责保密工作的人员亲自取送来完成的。由于各单位工作人员保密意识薄弱和流动性大等原因,公文和公文领取人员的管理一直是难题。公文领取过程中,存在公文领取人员
研究表明使用基于抢占机制的空分多任务共享GPU技术可以提升系统的整体性能。当多个应用并行运行在同一块GPU之上时,由于存在着对于共享资源使用权的竞争,它们各自的性能相比
从20世纪90年代起,随着传感器技术、微机电系统和无线通信技术等技术的进步,无线传感器网络(Wireless Sensor Network,WSN)由于其巨大的应用价值,引起了世界各国的广泛关注。无线传感器网络是由大量部署在目标区域内执行特定监测任务的低成本微型传感器节点组成的,广泛应用于军事、交通、环境监测等多个领域。在WSN的实际应用中,传感器节点的位置和所处室内环境信息至关重要,因此定位技术
随着能源互联的稳步推进,作为电力系统基本问题的最优潮流,正面临着新的挑战。一方面,电力系统拓扑结构日益复杂,且不同能源系统之间互联互通,这需要建立更全面的优化模型;另