车联网大数据混合存储系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hlp2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自2010年我国交通部将车联网建设列入国家重大专项项目以来,社会各界人士开始关注、推动、参与车联网在各城市交通体制中的部署落实。在这一背景下,本人参与了城市车辆智能防控系统的研发工作。本文以城市车辆智能防控系统为背景,聚焦该系统中的车联网数据存储问题。为了完成车联网数据的存储任务,同时满足高并发、高吞吐的写入要求和高实时的查询要求,根据车联网数据的读写特征,本文设计并实现了一套混合存储系统。该存储系统依赖底层引擎的可靠性、可用性和可扩展性,为城市车辆智能防控系统提供健壮的数据服务。本文工作主要由以下三部分组成:1、系统需求分析。使用层次化的车联网领域特征来确定城市车辆智能防控系统中心平台的功能边界,明确其主要工作是实现车联网上五层的功能部署。将平台内最主要的两条数据流定义为数据生产链和信息加工链。顺着数据生产链和信息加工链,研究混合存储系统和平台其它组件之间的交互协作,提取混合存储系统的功能性需求。从城市车辆智能防控系统的业务功能和生产环境中,归纳车联网数据的读写特征,并将之划分成感知数据、基础信息、统计数据三类。同时,分析混合存储系统的非功能性需求。根据上述需求和存储技术,选择HBase、MySQL和Redis作为混合存储系统底层的存储引擎。2、系统设计与实现。混合存储系统由数据对象、操作接口、连接池和物理引擎组成,分为感知数据存储子系统、基础信息存储子系统和统计数据存储子系统。借助HBase强大的写入能力和分布式管理逻辑,实现感知数据的高并发读写。本文提供感知数据存储模式、操作接口、HBase连接池和索引维护程序的详细设计,并给出具体的集群优化配置参数和集群存储规模的预估方法。借助MySQL的B树索引和事务处理策略,管理关系复杂的基础信息。结合实际应用场景,分析统计数据的写入冲突和查询延迟问题。利用Redis的高性能,记录下量少却读写频繁的统计数据。3、系统测试和总结。检查混合存储系统的节点使用情况,统计存储吞吐量,检测平台的信息反馈时延。线上测试表明,集群负载情况良好、日吞吐量超过4亿、信息反馈时延控制在7秒以内。混合存储系统能够为城市车辆智能防控系统提供稳定、可靠、可扩展、高并发、高实时、高吞吐的数据存储服务。
其他文献
为适应全自动生产线上对产品打标记的要求,设计了一种可由计算机控制的自动打标装置。该装置具有选字灵活、体积小、安装方便、性能价格比高等优点。 In order to meet the a
概况从美军开始列装M16A1式5.56毫米小口径步枪后,世界各国掀起一股小口径热。1977—1979年,北约组织进行轻武器口径选型试 At a Glance After the U.S. armed forces bega
期刊
中外合作办学是我国教育事业的重要组成部分。目前,河南省高校中外合作办学机构和项目数量位居全国第二。在已开设中外合作办学项目的河南高校中,地方普通高校占据绝大多数。
概括介绍了《我国卫生监督体系三年建设情况评价》课题的研究结果,三年来卫生监督体系的发展环境在逐步改善,并已取得了如下成效:资源配置(人、财、物)大幅度增加;卫生监督能力明显
<正> 越南人民军统司令部代表团和法兰西联邦部队代表团为了切实履行日内瓦会议关于在越南停止敌对行动协定中第一章和附件第一条有关划分临时军事分界线和非军事区的条款,于
春雷乍响,惊醒了蛰伏在土中冬眠的动物,这就是反映自然物候现象的节气——惊蛰。从这一节气起,气温上升较快,长江流域大部地区已渐有春雷。中国南方大部分地区在惊蛰也可闻到春雷
报纸
日内瓦会议是新中国作为世界大国之一第一次参加、具有重大意义的国际会议。笔者能够以新中国记者的身份到日内瓦来,采访有关这个会议的新闻,为国际紧张局势的进一步缓和尽
人才培养方案是以教学课程体系为载体的学生培养规则和培养目标的总体设计,也是高校人才培养的主要依据。工程教育认证背景下的人才培养,必须适应社会的发展需求,增强全体学
电磁理论类课程是电子信息类理工科专业本科生的一类专业基础课程。为了解决该类课程中电磁理论概念抽象、时空分布复杂等教学难题,探索研究了可用于该类课程开展可视化教学
目的探讨总结32例肾病综合征患者采用中心静脉置管引流腹腔积液的护理体会。方法对2010年1月至2012年10月收治的32例肾病综合征伴腹腔积液患者行中心静脉置管引流术,同时做好