天文数据处理中硬件加速机制的关键技术研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lislin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据处理在现代天文学研究中有着重要的地位。天文研究中的数据处理涵盖了天文观测现场的数据存储与处理、观测数据后处理、天文数值模拟等多个应用场景。其中,天文数值模拟作为一个计算密集型应用,其模拟精度与数据处理能力有着直接的关系,因此较早就引入了硬件加速机制,目前已经成为了硬件加速机制的一个重要应用方向。近年来,随着观测仪器性能的提升,天文观测现场生成数据的规模也急剧膨胀,这对观测现场数据存储的实时性提出了很高的要求,亟需将面向存储密集型应用的硬件加速机制引入观测现场以提高其数据存储带宽。此外,由于天文观测对观测仪器的周边环境具有较高的要求,天文观测站点越来越多的被设置在外界环境比较恶劣、远离人类活动的区域,无人值守的自动天文观测点也逐渐成为趋势,而这对观测现场的数据实时处理提出了很高的要求。观测现场既要提供足够的数据处理能力以保障观测数据能安全、高效地传输到后方数据中心,又要尽量降低自身功耗以及对网络带宽的需求,以降低设备部署、运营中所需要的成本。在这种情况下,具有低功耗、高集成度、高性能等优势的定制化硬件加速平台能为天文观测提供较好的保障。本文针对天文数据处理中硬件加速机制的关键技术,结合FPGA加速、固态硬盘(SSD)、FPGA-SoC等新器件、新架构方案以及特定应用场景的特点,对观测现场的数据存储、观测现场的数据处理及天文数值模拟中的加速技术做了有益的探索,扩展了硬件加速机制在天文数据处理中的应用方向。针对观测现场数据存储的高带宽需求,本文研究了以FPGA为主控芯片的天文现场SSD定制化设计方法;同时,为了保证大数据规模下观测现场数据处理的速度和数据安全性,并充分利用定制SSD中的FPGA资源,本文提出了天文观测数据的现场压缩方法以及低轮AES-纠错码联合加密方法;此外,本文针对传统数值模拟平台搭建、维护较复杂,功耗浪费严重等问题,提出并验证了基于FPGA-SoC的天文数值模拟加速平台。本文的主要研究工作和创新点包括:(1)分析了天文观测现场数据的特点和存储需求,并以此为基础提出了基于FPGA的天文现场SSD定制化设计方法。SSD的高带宽优势可以较好的满足目前天文观测现场高速数据存储需求;但是,目前的商用SSD读快写慢的特点以及单位存储空间价格昂贵的缺点限制了其在观测现场的应用。因此,本文基于天文观测现场中数据写入操作模式单一的特点,简化了通用SSD中较为复杂的垃圾回收、冷热块替换等操作,大幅度降低了用户不可用的数据块数量,节约了FPGA的逻辑资源,降低了单位存储空间的价格;同时,针对天文观测现场对数据写入速度要求高,对数据读出速度要求低的特点,优化了SSD中Nand Flash通道的设计,提高了Nand Flash之间的写入并行度,提高了FPGA资源的使用效率。(2)在观测现场数据处理方面,分别针对现场数据压缩和现场数据加密的加速做了相应的研究。一方面,利用天文现场数据具有较大信息冗余的特性,对适合用于天文现场数据压缩的编码方法进行了深入研究。充分分析了天文数据的特点,确定了采用哈夫曼编码以及游程编码分别对观测数据的高低字节编码可较好的作用于天文数据的现场实时压缩。同时,结合定制化SSD的结构特点,本文还提出了一种分布式的压缩电路实现方案,用以将压缩电路集成到定制化SSD的主控FPGA中。该电路方案避免了传统压缩电路方案中多次访存所带来的额外内存读取开销,以不到2500个查找表(LUT)满足了高速SSD的带宽需求,并达到了与Gzip算法相近的压缩率。另一方面,针对现场数据的实时加密需求,利用SSD中Nand Flash的误码特性,提出了一种低轮AES-纠错码联合加密方法。通过对纠错码编码单元生成的冗余编码执行简单的异或加密操作,Nand Flash中的误码可以被利用起来,提高AES加密后密文数据的安全性。相应的,在保持标准AES加密安全性的前提下,可适当的降低AES的加密轮数以减少加密电路消耗的计算资源。通过对多种攻击方法的分析表明,在AES加密轮数不低于8轮时,该加密方法的数据安全性可以保持在与标准的10轮AES加密相当的水平。(3)在天文数值模拟加速方面,以修正牛顿力学(MOND)的数值模拟为例,研究了天文数值模拟中不同加速器件的加速效果,设计并验证了基于FPGA-SoC的天文数值模拟加速平台。相比于传统天文数值模拟平台,利用FPGA-SoC的加速平台具有更高的集成度、更低的功耗浪费、更好的可维护性。与常用于天文数值模拟加速的GPU加速平台相比,基于FPGA-SoC的方案在功耗、能耗比、性价比上面有具有明显优势。
其他文献
目的 研究妊娠高血压综合征合并宫缩乏力患者通过预防性护理干预的效果及应用.方法 将我院收治的82例妊娠高血压综合征合并宫缩乏力患者作为研究对象,将患者分为2组,观察组41
本文为了揭示这一高效治疗的复杂机制,我们应用系统生物学的理念和方法,通过整合基因芯片、二维凝胶电泳及质谱分析等手段,对APL细胞株NB4分别用RA、ATO及RA/ATO进行处理,并收集
目的 观察眼科整体护理干预在糖尿病性视网膜病变中的应用效果.方法 选取我院收治的糖尿病性视网膜病变患者66例入组,选入时间为2017年9月至2018年9月,以电脑数字表法分组,分
1998年一种内皮细胞抑制因子从经EB病毒转化的B细胞系培养液上清中提纯出来,经鉴定证实为Calreticulin [Calreticulin主要作为ER(内质网)中Ca2+的贮存器参与Ca2+的信号转导]N-
随着网络信息数据爆发式增长,云存储在云计算的基础上飞速发展,目的是为了可以将企业和个人从繁重而复杂的数据存储中解脱出来。由于网络数据复杂,企业数据存储庞大,要求云存
地球表层的大地电导率及其分布对于国家资源探测、无线电波环境和信息科学都非常重要,大地电导率数据是地波传播预测、电力传输电磁预测、雷电电磁场的计算、强磁暴地球感应电