海量多波段天文星表数据存储与并行检索方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:qwerdfhkotfd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当今大数据的背景下,天文学——一门以数据分析为基础的学科,其观测数据量也一样随之井喷。特别是由于世界范围内,观测设备的精密程度的提升和科技含量的提高,观测到的天文数据已不局限于可观光范畴内的图像数据,而是涵盖各个波段的星体数据。并且望远镜图像分辨率的提高,连续拍摄能力的增强,各个波段数据的完备,天文观测数据的规模越发庞大起来。尽管不同波段的观测设备的观测结果是不同的,但是他们都以“天文星表(Astronomical Catalog)”(以下简称“星表”)为记录观测数据的标准文件。因此,“星表”是我们解决多波段天文数据检索的重要抓手。但是随着不仅单张或单次观测数据的大小越来越大,单位时间内得到的观测数据也越来越多。这就给天文数据的归档以及与用户的交互带来了困难。天文学家或天文爱好者大都是针对特定区域特定位置的坐标进行研究。对于用户来说,一套借助“天文星表”数据搭建起来的高效的天文数据归档体系和天文数据检索方法对其研究领域会有很大的帮助。用户可以直接通过星表中的赤经赤纬数据,从数据量庞大的天文数据集中,快速检索到我们所需要的数据,是我们亟需解决的问题。本文提出了一套基于天区划分索引的天文星表数据高效检索和存储方法(Distributed Cone Search Indexing System,DCSIS)。DCSIS方法主要分为两部分。第一部分,为了摆脱数据库处理大规模数据时的瓶颈,DCSIS中我们设计了天文星表检索专用的文件格式,它基于专门设计的天区索引方法,将提取过坐标信息的星表数据进行分块处理,并对每个分块进行特定的数据处理,建立适合查询的数据结构,再将其序列化到磁盘上成为“元数据”,已备复用。第二部分则是将生成好的元数据通过数据布局算法,分配到商用机集群中,提高并行查询的性能。经过上述两部分的通力协作,DCSIS最终可以接收用户的查询请求,并将结果以较快的速度反馈给用户。DCSIS方法已在天河一号超级计算机以及阿里云集群上进行了实验。其测试结果表明,DCSIS方法有着较强的强可扩展性和弱可扩展性,同时数据,同时可以部署于阿里云集群上,未来可成为中国国家天文台“天文领域云”项目的一部分。
其他文献
在北方季节性冻土区的一些基坑工程,由于规模的不断扩大,施工期和使用期已发生很大变化,可能要经历越冬期。桩锚支护结构是一种桩、锚索及被支护土体协同工作的支护体系,工程
无线互联网及移动设备的飞速发展,带动着网络资源的爆炸式增长,加剧信息过载问题,加大了用户寻找所需信息的难度。推荐系统成为解决这个问题的关键,其中推荐算法对推荐结果起
近些年来,随着经济建设的不断发展,我国基础设施建设的规模愈来愈大,越来越多的土木工程需要对天然地基进行处理。工程建设中会经常遇到软弱地基,软弱地基的处理方法层出不穷
加工中心是数控机床中技术含量最高的基础装备之一。目前,市场对中档和普通档加工中心的需求量不断提升。同时,市场的瞬息万变也给加工中心提出了新的要求。不仅要求加工中心
在建筑材料领域开发和推进节能环保的建材对现代建筑装饰产业发展具有深远意义。目前,新型建筑材料需要具有保温、隔热、不燃、调节湿度、净化空气等优点,而硅藻土由于其具有
近年来的研究表明在单相材料中非均匀组织结构能够获得较好的强度与塑性匹配,双相钢作为两相材料,通过调控软硬相获得非均匀组织结构有望在提高材料强度的同时获得较好的延伸
碳-碳键的形成反应是有机反应中最基础的同时也是有机化学研究的热点之一,碳-碳键的形成对于人造化学品很重要。在本实验中,我们以1,3-环二酮为原料,通过格氏试剂与羰基发生
在卫星激光测距中,对激光指向方向进行鉴别不仅能有效的减少观测时的脱靶率,提升数据接收的数量和质量,也是实现观测台站全自动无人值守观测必不可少的重要环节。本文通过应
在食品行业中,色素是一种重要的食品添加剂。食用色素包括化学合成色素和天然色素两大类。合成色素具有致癌、致畸等毒性,在一定程度上限制了其开发和应用,因此安全性较高的
随着电信运营商经营理念从以运营为中心向以客户为中心地转变,必然要求电信动漫产品越来越体现和满足客户个性化需求,从而真正做到以客户为中心。为了满足前面所提到的各种实