【摘 要】
：
深度学习训练过程中，训练数据的传输路径一般为从磁盘到DRAM，然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory ， NVRAM )提供了一种新的解决思路。NVRAM容量大，读取速度快，但写入速度相对较慢，因而通常和DRAM组合成混合内存系统，以改善系统性能。然而，目前绝大多数深度学习系统尚未挖
论文部分内容阅读
深度学习训练过程中，训练数据的传输路径一般为从磁盘到DRAM，然后再到GPU内存。该路径的效率很大程度上受限于磁盘I/O的性能。非易失性随机访问内存(Non-volatile Random Access Memory ， NVRAM )提供了一种新的解决思路。NVRAM容量大，读取速度快，但写入速度相对较慢，因而通常和DRAM组合成混合内存系统，以改善系统性能。然而，目前绝大多数深度学习系统尚未挖掘该混合内存系统的潜力来缓解I/O瓶颈问题。
针对上述的数据瓶颈问题，提出了一种混合内存环境下深度学习系统的训练数据预取方法(Daphne)，该方法使用一种滑动缓存策略：在NVRAM中维持一个缓存窗口，将磁盘中的训练数据映射到缓存窗口中，并不断地更新窗口中的数据，计算模块从缓存窗口中读取数据。对于数据吞吐量极高的情况，为提高数据的命中率，设计了一种固定缓存策略：仅映射一部分训练数据到NVRAM，在训练过程中不更新数据。深度学习系统先从NVRAM中获取数据，再从磁盘中读取。上述两个策略充分发挥NVRAM容量大和读取速度快的优势，提高了深度学习系统读取数据的性能，同时将NVRAM写访问尽量隐藏在正常训练过程中，避免了相对较慢的写速度带来的性能影响。此外，提出了一种新的子数据集读取模式，该模式可以提高NVRAM缓存中数据的时间局部性，有助于滑动缓存策略和固定缓存策略实现更好的性能。
上述方法实现在Caffe系统及其多个派生系统上，并在软件模拟NVRAM和真实NVRAM硬件环境下，分别针对ImageNet等经典数据集进行测试。实验结果表明，Daphne能够将训练速度提升30%以上。
其他文献
AlGaN作为直接带隙的宽禁带（3.4eV-6.02eV）半导体材料，具有优秀的光电性质、高热稳定性和热导率、优良的介电特性和高机械强度，可以用来制备高性能电学器件和光电器件。纳米材料由于内部晶体周期性被破坏，在光电等邻域，表现出了比体材料更加优秀的性质。目前， AlGaN纳米材料及相关器件仍处于研究阶段，各种工艺下制备的AlGaN纳米材料的质量有待提高，其生长机理和模型还需要进一步地研究和完善。
在过去的几年中，DNN已被证明是解决许多实际问题的通用有效工具，使用DNN的应用数量呈爆炸式增加。DNN推理业务已开始成为云计算环境所提供的服务之一，低延迟，高准确度的响应质量成为服务提供者的目标。受深度强化学习在AI领域的良好变现，人们也尝试用深度强化学习方法来实现DNN推理业务系统的高质量响应。本文主要研究以下几个问题：1．基于深度强化学习的DNN业务调度。如今，这些问题中的大多数都是通过精心
键值数据库由于其结构简单、查询速度快，具有高可靠性和高扩展性的特点，·得到了广泛的应用。各类应用对键值存储系统读写性能的要求也越来越高，要求存储设备提供更快的读写性能。Intel公司为了解决SSD和内存中存在的巨大性能差异，推出了Optane系列产品。傲腾固态盘作为非易失存储器的硬盘产品，有良好的读写性能同时随机读写与顺序读写性能差异不大。传统的键值存储系统采用LSM-Tree(Log Struc
云计算近年来在工业界越来越普及，这主要得益于虚拟化技术的成熟和容器技术的发展，将应用以容器方式部署在云环境中已非常普遍。无服务器计算是基于容器技术衍生出的一种新的云计算范式，容器为无服务器计算带来了无显式管理成本、按用量计费、弹性扩容等优势。然而这种计算范式将传统的宏应用分解成无状态的细粒度函数，当突发负载到来时，无服务器计算平台启动大量容器并初始化函数执行环境(即冷启动)，这会带来显著的启动延迟
容器虚拟化技术因为其轻量的特点，已经在云中被广泛使用。Docker是目前最受欢迎的容器框架，原因是它可以将应用及其依赖打包成一个独立的容器镜像。通过容器镜像，用户可以方便地存储、部署容器。当前Docker采取了层级结构构建镜像，使得容器在存储和部署时相同的层只会被存储和拉取一次。然而，当前层级结构下的镜像会在镜像中引入冗余数据和不必要数据，造成容器存储和部署的低效。调研DockerHub上使用率前
在大数据、物联网和5G时代，随着各类智能终端、智能应用和传感器的普及和发展，数据呈现快速动态增长的趋势，需要面对流式数据的应用也越来越多。流式数据中虽然蕴藏着巨大的潜在价值，但因其具有增长迅速、持续不断、时效性强等特点，如何对流式数据进行高效、动态的挖掘分析成为重要的课题。 基于张量的多聚类作为聚类领域在高阶数据上较为先进的方法，能够在多个不同维度上对高阶大数据进行多模态分析挖掘。目前关于张量多
随着私家车的普及和交通体量的增大，智能交通监测技术已经得到了越来越多的关注，智能交通监测可以支持一系列应用例如交通堵塞疏导，智能交通管理和自动驾驶辅助等。而针对于一些需要低投入，部署范围广，方便扩展的特定场景如乡村道路监测，特定时间和路段的交通量调查等，如何实现便携的，有效的，易扩展的，低成本的，便于部署的以及鲁棒性强的智能交通监测就尤为重要。 通过测量细粒度的无线信号信道状态信息的变化实现智能
随着RDF(ResourceDescriptionFramework，资源描述框架)数据的逐渐增多和SPARQL(SPARQL Protocol and RDF Query Language)查询处理场景的日益丰富，查询计划的生成面临很多挑战。一方面，现有的RDF查询处理系统在生成查询计划时比较耗时。另一方面，这些系统在生成查询计划时对代价的估计不够准确，且较少考虑查询执行的并行技术，使得查询执行
深度学习作为最强大的数据挖掘技术，在各个领域都有着广泛的应用前景。然而在基于云计算的服务模式下，如果用户数据中存在隐私敏感信息，那么将存在潜在的隐私泄露风险。同时，深度学习算法提取到的中间特征不具有抗隐私分析能力，也存在对应的隐私泄露风险。 针对深度学习应用在推理阶段面临的用户数据隐私泄露风险，模型分割部署模式基于深度神经网络层级连接的特点，将神经网络从中间层一分为二，分别部署在客户端与服务器端
近年来，图规模和图数据量的快速增长使得分布式图计算吸引了越来越多研究者的注意。拥塞模型是分布式算法设计中最常使用的模型之一，然而带宽的限制使得一些复杂的图计算问题在时间复杂度(在分布式算法中多用轮数复杂度表示时间复杂度)上往往难以令人满意。分布式图性质测试是一种可以有效降低算法轮数复杂度的方法：根据给定图具备或者ε-远离目标性质，图性质测试算法会相应地以一定概率(通常为2/3)输出肯定或否定结果。