海量物流数据管理系统的研究与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:caacmis487
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经济全球化大潮势不可挡,我国物流行业面临着国际先进物流企业的重大冲击,中小物流企业是我国物流行业的主体,只有引进国外现代物流的管理理念,我国物流行业才能在全球化残酷的竞争中立足,而这些中小物流企业在资金、技术、人才、管理方面都非常落后,自身无法快速的走上现代物流的进程,因此需要第三方提供的面向中小物流企业的海量物流信息管理公共平台。  由于这一物流平台面向的是海量中小物流企业,其业务数据类型极其复杂,经过我们的分析,总结出了三种数据类型,分别是物流业务基础数据、物流系统历史数据、具有时效性特点的业务数据,这三类数据对并发访问能力和数据存储容量均提出了各自独特的需求,传统的数据库管理技术很难同时满足上述的三类需求,因此,本文的研究致力于解决海量物流信息管理公共服务平台的复杂业务数据存储问题。  本文基于三种物流数据的存储特点,从访问策略、存储策略以及迁移策略三个方面对物流数据访问进行了设计和优化,实现了一个具有自适应查询调度和高可扩展性的物流数据存储系统。本文主要在以下几个方面做出了贡献:  1.设计了支撑高并发数据访问、并行DBMS查询调度、数据迁移和集群扩展的元数据结构。  2.提出并实现了基于物流业务数据的自适应查询调度机制。自适应查询调度机制为满足三种存储需求,设计实现了融合读写分离、多副本以及负载均衡的高并发数据访问技术,定制化的并行DBMS技术,以及基于数据状态管理以及数据迁移的三阶段时效性数据访问技术。  3.提出并实现了支持数据规模扩展与服务能力伸缩的集群管理机制。该机制依托集群状态监控模块,可实时的将集群变更信息同步至查询节点,并能有效地支持集群结构的变更恢复,在并行库的存储模式中加入了一致性hash分片技术,可有效的降低集群变更时的数据迁移开销。  
其他文献
学位
学位
学位
随着对地观测技术的发展,GIS迎来了大数据处理的挑战,地理计算是一种数据密集型和计算密集型的计算,但现有的性能评测工具主要针对于计算密集型系统的性能分析,而对算法级性能分
学位
学位
学位
近年来,P2P技术已得到大规模应用,以BitTorrent、迅雷、电驴、Gnutella等为代表的P2P应用迅速流行。P2P应用日益流行的同时给网络服务提供商(ISP)带来巨大的网络流量压力。如何
学位
学位