基于编码的分布式计算理论与技术

来源 :东南大学 | 被引量 : 0次 | 上传用户:gaowenjiangy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式计算是处理具有海量数据与超大规模计算问题的重要解决方案,随着分布式计算系统规模的逐渐增大,将会不可避免的遇到掉队问题与通信负载过大的问题。本文从编码的角度切入分布式计算,研究其中的掉队问题以及通信优化问题,并为相关的具体应用提供解决方案。
  首先,论文对分布式计算中的掉队问题,通信优化问题以及相关应用采用的主要编码方法进行介绍。然后具体针对分布式计算中的掉队问题,我们以分布式矩阵向量相乘,分布式矩阵乘法为背景详细描述各种基于编码的分布式计算方法。紧接着对于通信优化问题,我们分别以MapReduce与分布式机器学习中样本的置乱重排为研究对象介绍对应的编码解决方法。最后以分布式矩阵向量相乘为背景探讨兼顾掉队问题与通信优化问题的编码计算方法。
  针对分布式矩阵向量相乘计算中的掉队问题,论文介绍了最常见的MDS编码以及多种喷泉码技术。在基于MDS编码的计算方案,我们详细描述了基于Walsh变换的快速译码方案。对应喷泉码的编码计算中,论文主要研究了LT编码与Raptor编码方案,并讨论了对应的BP译码方案与失活译码方案。此外,在LT码的基础上,我们提出了带反馈机制的LT码编码计算方案,通过反馈机制极大的降低了分布式计算方案的编译码开销。对于上述编码方案,我们从理论上推导出了各种分布式编码计算方案Map阶段的延时,并通过仿真分析比较了各方案的计算延时与服务器的存储开销。
  论文进一步讨论了分布式矩阵相乘计算中的掉队问题,文中介绍了两种矩阵切割方式以及相关的五种编码计算方案。论文给出了恢复限的概念,并作为衡量编码方案优劣的主要指标。当矩阵按行列方式进行切割时(自然切割),可以采用基于MDS码的乘积码方案,多项式码方案以及MatDot码方案。论文对这三种方案进行了详细的介绍并给出了对应的恢复限。当矩阵按矩阵块的方式分割时,我们主要研究基于PolyDot码与Reduced Recovery码的编码方案。PolyDot码整合了多项式码与MatDot码的构造思路,并且可以通过调节参数来调整编码方案的恢复限与通信负载。当矩阵元素为非负整数时,Reduced Recovery码可以借助元素的整数特征,进一步降低编码计算方案的恢复限。之后我们以分布式DNN网络的训练为背景介绍了PolyDot编码方案在具体算法中的应用。针对参数矩阵的编码计算,我们提出了针对二元多项式的插值译码算法,从而统一了DNN网络前后向传播中的编码方法并降低了编码开销。
  论文最后研究了分布式系统中的通信优化问题,我们分别从MapReduce与分布式机器学习中的样本置乱重排两个场景出发介绍了对应的编码计算方法,并给出各编码方法的通信负载。对于MapReduce场景下的编码计算,我们为了尽可能少的生成编码消息,提出了相应的编码策略。最后在分布式矩阵向量相乘的背景下,我们探讨了兼顾通信优化与掉队问题的编码体系,体系以MDS码与重复码为基础,并通过调节参数获得了通信负载与Map阶段的时延之间的折中。
其他文献
QR码是一种用于承载信息的二维图像,因其便捷高效、安全性高且使用成本低等特点,已被广泛应用于电子名片、网上支付、公共交通等多个领域。随着QR码应用场合的增加,人们对识别QR码的终端设备的需求也变得更多样。传统的QR码识别设备通常基于纯软件的形式实现,由于QR码识别算法数据运算量大且处理器串行执行的特点,使得用户不得不在设备的成本和性能之间做出平衡。  因为硬件电路能够并行处理且成本低的特点,针对高
电阻抗肌动描记术(Electrical Impedance Myography, EIM)是哈佛医学院SewardB.Rutkove教授提出的一种基于肌肉电阻抗测量与建模分析的神经肌肉疾病诊断新方法,具有无辐射、非侵入、操作简单、低成本等优点,在神经肌肉疾病的早期发现与诊断、长期监测、治疗以及药物研制等方面具有潜在的应用前景。  然而,现有的EIM技术无法同时满足快速性与准确性的要求。首先,基于5
偶极子天线有大带宽,高增益,方向图稳定等良好的辐射特性,所以在无线通信领域得到广泛的应用。尽管偶极子天线的提出已有一个世纪之久,但对它的研究依然经久不衰,很多新的偶极子天线被提出。近年来,利用方向图互补原理以获得稳定辐射特性成为偶极子天线研究的一个热点,主要方法有三种:1.磁电偶极子天线,将电偶极子和磁偶极子结合在一个天线单元里面,以实现两个极化平面内方向图的互补;2.交叉偶极子天线,将两个电偶子
近年来,随着智能手机和移动互联网业务的高速发展,LBS在人们的生活、娱乐以及安全等领域的作用越来越明显。然而在5G技术与场景下,复杂多变的城市环境对移动终端定位的实时准确性提出了更多挑战。指纹定位方法能有效利用无线传播的多径特性实现高精度定位,其与诸如 5G 大规模 MIMO 技术相结合的应用前景更加宽阔,目前就两者结合的方法和技术研究仍在不断深入开展中。本文就大规模MIMO 单站场景下基于机器学
学位
毫米波通信、大规模多天线系统、超密集组网等新技术是第五代(5G, 5th Generation)移动通信系统的关键性支撑技术。这些新技术要求5G无线接入网络实时、准确地获取用户终端的位置信息。通过对上行链路参考信号进行测量直接获取用户终端位置信息的方式可以满足这个要求。因此,上行链路参考信号在5G移动通信系统,特别是移动性管理问题中具有广泛的应用空间。本文主要研究上行链路参考信号在5G移动通信系统
学位