面向交通物流大数据处理的元数据管理系统

被引量 : 0次 | 上传用户:wenqin2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在交通物流领域中,建立统一、高效的数据管理方式是降低运营成本、提高数据质量、规范物流管理的迫切需要。本文以某省交通物流云平台项目为背景,该项目包含一系列交通物流大数据处理需求,如对物流企业、应用开发商及平台数据中心的数据进行数据整合并提供统一管理。目前,在数据整合及管理的过程中,主要存在以下问题:1)业务元数据和技术元数据没有建立映射关系,无法对企业异构数据源进行统一管理;2)没有将业务元数据与技术元数据结合,指导数据整合过程;3)由于涉及到安全及隐私问题,数据整合时对企业私有数据访问困难。针对上述问题,本论文在对元数据标准SDMX信息模型、RDF数据立方词汇表以及数据整合等相关技术进行深入研究的基础上,提出了一个面向交通物流领域的业务元数据模型,建立了技术元数据与业务元数据的映射,并与ETL工具相结合,设计并实现一个面向交通物流大数据处理的元数据管理系统。测试及应用表明,该系统是可行及有效的。与其他类似系统相比,本文工作具有以下特点:1)结合SDMX信息模型及RDF数据立方词汇表,提出了一个面向交通物流领域的业务元数据模型,对交通物流领域的术语、业务实体等进行建模;同时建立并维护业务元数据与技术元数据的映射关系。2)提出了基于元数据的交通物流数据整合方法,将业务元数据应用到交通物流领域的数据整合。在用户开发数据整合任务时,利用业务元数据与技术元数据的映射,自动建立整合字段源和目标的匹配,简化了开发过程。3)设计并实现了元数据管理系统,该系统包括元数据管理工具与数据整合工具两部分。元数据管理工具提供技术元数据获取、元数据管理、元数据映射、前置机管理及系统管理功能;数据整合工具提供数据整合任务开发与数据整合任务执行功能。应用情况表明,该系统增强了数据管理能力并提高了数据整合效率。
其他文献
随着我国城市化的飞速发展,城市垃圾废弃物排放量急剧增长。当今在我国,绝大多数城市采用卫生填埋的方式处理垃圾,而很多城市只是将垃圾进行了简陋的堆积和填埋,对垃圾填埋场
近年来,微操作系统被广泛地应用到微机电系统MEMS(Micro Electro Mechanical System)、微光电子机械系统MOEMS(Micro Opto Electro Mechanical System)和生物微机电系统Bio M
医疗决策的制定是一个复杂的过程。在医疗决策过程中,医生需要根据不同病人的特点,结合医学知识与临床经验,制定出相应的治疗方案。但是由于缺少足够医疗信息的支持,医生的决
在新课程改革的推动下,初中语文阅读教学改革如火如荼,教学模式、教学方法乃至教材改革成果层出不穷,但阅读与写作的关系一直未能很好地理顺,致使阅读教学的价值指向一直局限
为探讨晚秋黄梨能否延迟采收及延迟采收对梨果实品质的影响,以25株干茎相似、结果量相近的5年生的晚秋黄梨为试材,在选定植株上选择大小基本一致、无病虫害、处理方便的果实5
供应链金融因其快捷、便利的特点,吸引越来越多的企业融入其中。它是为缓解中小企业资金难题而量身定做的一种新型融资模式,也是促进物流企业服务升级、提升供应链整体价值的
裁量权作为一项重要的行政权广泛存在于行政执法活动中,是近期以来比较受关注的一个热门话题。裁量权是一把“双刃剑”,一方面它利于实现个案正义,但另一方面它也可能导致权
私募股权投资参与管理层收购是指:私募股权投资利用自身持有的丰厚资金和收购经验为被收购企业管理层介绍收购资金融资、提供收购所需要的大规模资金、制定具体收购计划和提
自中国加入WTO后,在良好的国内国际贸易环境中,农产品贸易也步入一个迅速发展的阶段。然而,农产品贸易逆差随着贸易额的增大也在同时增大,加上越来越多的国家都利用贸易壁垒
市委理论学习中心组(扩大)举行“不忘初心、牢记使命”主题教育专题学习会,市委书记陈敏尔主持并讲话。国务委员兼外交部部长王毅作国际形势专题辅导报告。陈敏尔在讲话中强