基于元数据的公交CAN总线数据质量管理系统研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:qq709532845
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,随着信息量快速扩展,数据质量得到了人们越来越广泛的关注。尤其随着移动互联网的发展,物联网作为一种重要的信息技术,通过RFID、传感器等方式,产生了大量的数据和信息。数据质量作为有效处理和分析利用大数据的前提条件,是保障企业使数据产生价值和获得收益的根本。公交车辆CAN总线数据是通过北京市公交集团车辆CAN数据综合应用平台采集。CAN总线,即控制器局域网(Controller Area Network),又被称做CAN-bus,是由Bosch公司率先研发的新一代汽车总线,用于采集车辆各个核心部件的数据。目前北京公交集团已有5千辆新车开始实现发动机、车辆电气门等装置的实时状态数据采集。总体来说,公交CAN总线数据的数据质量不高,数据中存在不完整、不一致、重复记录等问题。造成这些问题的原因是多方面的,其中一个方面是由于物联网技术在公交车辆上的应用刚处于起步阶段,公交车辆的传感器装置并不能正确的采集到全部数据;另一方面,缺乏对采集到的数据的管理也是造成数据质量问题的重要因素。本文以公交车辆CAN总线数据为基础,对CAN总线数据质量管理中存在的问题进行了深入的分析和研究,提出将元数据应用于CAN总线数据质量管理应用中;结合数据的业务逻辑,设计并构建了 CAN总线数据的元数据模型,设计了一套数据质量管理的约束规则,并设计了一个基于元数据的数据质量评价模型。通过将元数据管理与数据质量管理技术有效结合,旨在能够通过系统,打破业务人员与数据管理之间的技术壁垒,让业务人员参与进数据质量管理的过程,提高数据质量管理的效率。该系统主要实现了数据质量规则管理、数据质量问题处理和数据质量分析三个方面的功能。数据质量规则管理可以让系统用户自定义数据的质约束量规则以满足数据管理的需要。数据处理功能是根据定义的数据质量规则,完成对数据的清洗,为公交车辆健康状况的分析预测提供了数据支持。数据质量分析功能提供了单表数据分析、单指标趋势分析、数据质量问题定位等信息,方便用户快速找到出现问题的指标,为数据管理人员制定数据采集策略打下了基础。
其他文献
采用PIV对半开式离心泵叶轮内旋转流场和叶轮与蜗壳间隙的流速场,选择3个不同方位的窗口进行了测量.所测量的3种不同运行工况,其流量分别为额定流量的1.4、1.0和0.6倍.不同窗
通过对双星型和双环网络结构进行比较分析,双星网络结构适合于控制中心集中、网络结构要求扩展性高的系统,双环网络结构适用于系统安全稳定性高,控制中心可分散,扩展要求低的
受新冠肺炎疫情影响,恐慌与焦虑在人群中迅速蔓延,公众的心理健康水平明显下降并由此会引发多种社会问题。由于我国尚未形成统一的服务体系,现有心理健康服务在努力维护公众
会计审核是财务管理工作的重要内容,在提高企业管理水平中起到重要作用。会计审核能够帮助企业防范财务风险,确保企业能稳定、快速地发展。本文将阐述会计审核的内涵和重要性
目的比较替硝唑碘仿根管糊剂和甲硝唑碘仿根管糊剂在治疗慢性化脓性根尖周炎伴异位窦道疗效上的差异.方法选择慢性化脓性根尖周炎伴异位窦道的患者127例,随机分为2组,替硝唑
智慧照明利用Wi Fi与Zig Bee等多种物联网(Internet of Things,IOT)和无线网络新技术,实现了对照明设备的智能化控制,凭借着良好的交互能力、自动化的控制方式、有效的节能模
本文针对煤尘难以被水润湿而导致的普通湿法降尘效率低下的问题,通过理论分析和实验研究相结合的方法,对复配润湿剂润湿煤尘的机理及新型复配润湿剂配方的优化进行了全面、系
近年来,由于国际投资条约目前呈“碎片化”发展,关于投资争端解决的规定散见于各国签订的双边投资条约和自由贸易协定的投资部分。投资者与东道国间争端解决机制作为投资争端
目的了解重点初中新生的睡眠质量及其相关因素,为提高新生睡眠质量的研究提供资料。方法采用匹兹堡睡眠质量指数量表(PSQI)和自制的相关因素调查表,在新生入校第4周进行问卷