随着大数据、云计算、人工智能的飞速发展,越来越多的企业、高校、政府机构产生了对海量数据的计算和存储能力的高度需求。数据中心一方面需要对海量数据进行存储,另一方面需要为日益增长的机器学习、深度学习等计算任务提供有力支持。由于单台通用服务器的计算和存储能力均受限,分布式存储以及异构计算正成为当前以及未来数据中心管理海量数据的关键。本文旨在对分布式和异构计算环境下的关键算法和技术进行研究,通过理论和实践相结合的方式,研究、并实现相应的异构计算和分布式存储系统,解决了海量数据计算和存储方面的三个焦点问题。深度学习的强计算任务对通用服务器提出巨大挑战。本文对深度学习中的LSTM(Long short-term memory)算法进行深入研究,实现了一个面向云端异构计算环境的LSTM算法的FPGA(Field Programmable Gate Array)加速器。前人的LSTM算法的FPGA加速器绝大部分面向嵌入式环境,本文主要针对云端环境对FPGA加速器进行深度优化,并获得了计算和传输性能的显著提升。如何保证数据的高容错性和强一致性是分布式系统的关键问题。本文结合Raft算法和一致性哈希算法,并对算法作出一定的修改和优化,实现了一个分布式强一致性的文件存储系统。该系统能够在机器宕机、网络分区等极端环境下保证数据的高容错和强一致性。分布式存储系统需要满足极高的性能要求。本文研究了多个提高性能的算法和技术,为分布式文件存储系统解决了文件多版本管理、存储引擎、元数据管理和数据读写的性能问题,使分布式存储系统满足高吞吐、低延迟的性能要求。