面向CNN的Load-Store指令数据宽度及传输方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:yangweiz88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)作为深度神经网络中典型的网络类型,在人工智能领域得到广泛的应用,又因其以大规模参数训练为代表,属于计算密集型和访存密集型的任务,这就对设计专用的CNN训练的处理器体系架构提出了要求。现今面向神经网络训练处理器通常是具有大量并行运算资源的片上多核处理器,计算速度与访存速度的严重不均衡导致“存储墙”问题。由于CNN训练的访存密集特点需要频繁地读/写内存,同时“存储墙”问题的存在严重制约了访存操作,导致访存延时增加;CNN训练的计算密集特点需要片上多核间进行高效的数据传输,消耗更多的时间和能耗,“传输墙”问题凸显。因此,本文基于片上网络的神经网络训练处理器的体系结构,结合神经网络处理器中用于数据访存和传输的load-store指令,面向CNN训练特征进行优化设计。为缓解存储墙问题,本文从内存访问的角度来研究降低访存延时加速CNN训练。针对CNN中数据类型的特点来研究网络中访存数据宽度,主要就CNN中卷积层、池化层、全连接层的不同数据特点设计不同的load-store访存数据宽度,即混合访存数据宽度。接下来,在仿真平台上对基于MNIST数据集的Le Net5和Alex Net网络分别就本文提出的混合访存数据宽度和通用的定长访存数据宽度的load-store指令进行片上仿真实验对比,并采用训练延时作为评价指标,得出结论:在访存宽度设定在16bits到512bits之间时,CNN训练采用混合访存宽度比采用定长访存宽度的训练延时都有所降低,Le Net5平均降低了12.87%,Alex Net平均降低了8.90%;混合访存数据宽度最有效的适用场景是卷积层,混合访存宽度的方法在全连接层的表现效果比较差。为缓解片上传输墙问题,本文从片上数据传输的角度来研究CNN中的数据在内存和处理核心之间的片上通信,达到在片上网络中高效传输CNN模型数据。根据load-store访存数据宽度、CNN模型访存特征分析以及访存流量特征,提出了三种片上传输优化策略:以指令访存数据宽度为优先级、以指令访存类型为优先级和以处理节点PE-内存DDR距离为优先级,然后对Le Net5和Alex Net进行了传输优化与未优化的仿真对比实验。结论:三种优化传输策略的优化效果依次为以PEDDR距离为优先级最好,以指令访存数据宽度为优先级次之,以指令访存类型为优先级最后;CNN训练过程中采用片上PE-DDR距离优先级策略是优化片上传输短板的重要方式。
其他文献
Web2.0和移动互联网的快速发展为人们提供了方便快捷的信息交流平台,但也降低了谣言的传播成本,提高了谣言的传播速度,对于自动化的谣言检测算法的需求越来越迫切。传统的按照时间序列组织划分谣言,再使用深度模型编码谣言的检测算法丢失了谣言的结构信息。最近的工作提出基于递归神经网络或图卷积网络等深度模型综合编码谣言的文本和结构,有效提升了谣言检测算法的性能。但当前的基于深度模型的谣言检测算法存在以下不足
目前,我国经济保持中高速的平稳发展态势,商品流通日益繁荣,运输行业快速发展的同时也面临着货物运输结构发展不平衡的现状。城市规模的扩大及城市布局的调整对城市建设物资的需求量起到强大的拉动效应,为解决物资运输造成的环境污染、运输成本持续升高等问题,顺应国家“碳高峰、碳中和”的长期发展目标,各部门加大了对“公转铁”运输模式的推广力度,以城市建设物资为代表的大宗货物运输已被全国多地要求尽量采用“公转铁”的
轮轨黏着是铁路运输中的关键基础性科学问题之一,而轮轨接触界面良好的黏着状态是列车安全和高品质运行的根本保障。轮轨系统作为一个开放的系统,遭受到各种自然环境因素的影响,如湿度、温度、水、风沙甚至铁氧化物,而所有的这些环境因素都会影响轮轨接触界面的黏着状态和损伤行为。本文综述了水、湿度、温度、风沙等自然环境因素对轮轨黏着特性影响规律的研究进展,分析了自然环境因素下轮轨界面铁氧化物特征,重点探讨了自然环
川藏铁路作为西藏自治区对外运输的主通道,对我国来说具有重大的国防意义和战略意义。川藏沿线“跨七江穿八山、六起六伏”,气候恶劣多变,面临电网条件极端薄弱,是世界上最艰难的工程之一。面对连续长大坡道,机车制动返送回牵引网极为丰富的再生制动能量将带来诸如电能质量下降、潮流冲击、能量浪费等一系列问题,加剧了川藏线牵引供电系统设计难度。因此,研究适用于川藏线薄弱电气化铁路再生制动能量利用方案有着重要的现实意
铁路道岔系统(Railway Turnout System,RTS)担负着引导列车转向行驶、确保列车平稳安全运行的重要任务,一旦出现故障就会极大程度影响运输效率甚至危及乘客生命安全。随着铁路运输网越织越密,保证道岔系统的高可靠性越发受到铁路部门的高度重视。目前,国内在日常维护工作上主要根据维修计划进行周期性保养,这种“计划修”模式无法根据道岔剩余使用寿命(Remaining Useful Life
随着开关电源应用场景的不断增多,开关电源的使用环境也日趋复杂,对于开关电源质量的要求也越来越高。目前关于出厂开关电源的检测通常采用多设备组合的检测方式,工作效率低,检测结果精度不高。本文根据开关电源检测标准,对开关电源高精度、高效率的检测方法进行研究。主要研究内容如下:首先,对开关电源检测系统的指标进行分析,确定了开关电源待测参数特征。针对检测精度的提高开展两个方面的研究:一个是对信号采集电路进行
作为居民出行、交通系统和土地利用的重要评价指标,交通可达性逐渐成为地理、规划、交通等领域的研究热点。近年来,移动互联网、大数据等技术的成熟,海量移动数据使得学者们从空间交互角度研究可达性问题成为可能。随着地理信息数据与交通领域的深度融合,可达性研究逐渐开始关注居民对于公共服务设施使用的便利程度,评估公共服务资源的分布现状,帮助政府在公共设施选址方面的投资决策,从而促进公平、高效的公共服务设施布局,
目的:分析应用芒硝外敷与中药清胰承气汤联合治疗急性胰腺炎的临床疗效。方法:选取2019年10月-2020年12月期间因急性胰腺炎入院治疗的112例患者,随机分为治疗组(芒硝外敷与中药清胰承气汤联合治疗)与对照组(常规基础治疗),各56例。比较两组肛门恢复排气排便时间、治疗总有效率、腹部压痛消失时间及治疗前后C-反应蛋白(CRP)、白细胞(WBC)、尿淀粉酶(UAMY)、血清淀粉酶(AMS)。结果:
停车精度是影响高速磁浮交通系统运营效率的重要技术指标之一。尽管轮轨列车精确停车控制取得了较丰富的研究成果,但是,高速磁悬浮列车在牵引、定位、制动等方面与轮轨列车存在巨大差异,轮轨列车的研究成果不能直接应用于高速磁浮列车,因此,研究高速磁浮列车的精确停车控制具有重要的理论意义及应用价值。本文借鉴轮轨列车的研究成果,针对磁悬浮列车特点,设计了高速磁浮列车精确停车制动控制器。首先,针对高速磁浮的特点,建
大力发展城市公共交通,优化道路交通资源配置是缓解城市交通拥堵的重要举措,城市地面公交作为城市公共交通系统的重要组成部分,作用更是举足轻重。在城市地面公交运营过程中,公交串车是一种常见的现象,其所具有的向后传播性和持续影响性极大地限制了公交运营效率和服务水平提升的上限。同时,在实际生活中,交通方式服务质量的高低逐渐成为人们出行方式选择的一个重要衡量标准。因此,提高对公交串车问题的认识,采取合理的方式