【摘 要】
：
智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务（SOA）架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享
论文部分内容阅读
智慧城市需要顺应大数据发展趋势,加快信息化方面建设。城市各级业务部门通常采用传统面向服务（SOA）架构设计完成海量数据交换任务,由于各业务系统采用的数据存储方式不同,随着业务需求增加,数据集规模增大,数据交换压力呈指数上升,对原有的数据服务架构可扩展性、性能稳定方面提出新的挑战。为了支撑智慧城市数据交换系统能够提供高效稳定的服务,避免系统模块间耦合性较高的问题,本文拟设计基于微服务的数据交换和共享平台,通过设置统一的数据接入标准,实现数据的自动采集、交换、存储,屏蔽底层数据源格式和数据源类型,通过任务调度管理配置数据交换任务调度策略,减轻数据交换带来的内存、CPU消耗,并通过元数据管理,提供血缘分析、元数据视图呈现服务,挖掘数据价值,实现“数据即资产”。主要成果如下:（1）建立一套数据交换标准,实现数据从采集、交换、清洗加工全管理流程。打破地域、数据存储、数据格式限制,为智慧城市建设提供强有力决策支持。针对异构数据源类型,提供相应的数据库读写插件,通过统一的数据交换二进制通道完成数据交换任务。（2）支持分布式任务,将调度模块与执行模块分离,通过RPC进行通信,提供多种路由策略和失败处理机制,调度器在指定触发时间选择执行器开始执行数据全量和增量数据交换任务。（3）支持数据实时推送共享,通过监控数据库Binlog文件,解析数据流写入到Kafka中,向订阅Topic的下游消费者推送数据,实现各级部门间数据互融互通。提供元数据信息管理,支持血缘分析,元数据视图呈现,可对数据库表、字段、分区进行修改。（4）对本文所设计的数据交换和共享平台的功能和性能进行测试证明,通过实验验证本系统的可行性。
其他文献
文章主要研究了杭州区块链技术、区块链产业的发展现状.通过调研、政策研究、组织专家讨论论证,探索影响杭州区块链发展的主要因素,使区块链技术应用于更多的民生领域,以解决数据共享、数据孤岛问题,全面赋能实体经济,使区块链产业成为杭州市数字经济的发展新高地.
人脸属性识别是计算机视觉和模式识别领域的热门研究课题之一,对人脸图像的分析和理解具有重要的研究意义,同时在图像检索、人脸识别、微表情识别和推荐系统等诸多领域具有广泛的实际应用价值.随着深度学习的快速发展,目前国内外学者已提出许多基于深度学习的人脸属性识别(deep learning based facial attribute recognition,DFAR)方法.首先,阐述人脸属性识别方法的总体流程.接着,按照不同的模型构建方式,分别对基于部分的与基于整体的DFAR方法进行详细地概述与讨论.具体地,对
作为计算机视觉中的热门方向之一,科研人员们在文字识别领域上已经取得了众多显著的成果,并将其广泛运用到真实场景中方便我们的日常生活。目前,虽然传统的OCR技术对于文档文本的识别已经十分成熟,但在自然场景下,由于背景复杂、文字多样,图片文本识别仍然是一项具有挑战性的任务,需要不断地探索和改进。因此,本课题将以场景文本识别作为主要研究内容,针对现存的两大难点提出改进方法。在应用上,本课题则以菜单作为落地
针对程序设计类课程存在的共性问题,以“Java程序设计”课程为例,提出了基于成果导向教育理念的课程教学改革.根据学生培养目标和毕业要求,反向设计课程的教学目标;以案例为驱动重新设计教学内容,借助信息技术实施翻转式课堂教学;以OBE理念构建课程评价体系,为课程后续的持续改进指明方向.实践证明,相较以往的课程教学,基于成果导向的“Java程序设计”课程,教学效果有了很大的提升.
随着物联网技术的不断发展,监控设备在交通干道、学校医院、商场超市、小区楼宇等公共区域进行了广泛部署.这些监控设备为人们提供了一种隐性安全保障,也产生了大量的监控视频.基于监控视频的异常检测一直是图像处理、机器视觉、深度学习等相关领域的研究热点.对视频异常进行了直观描述和异常检测概述,对出现的一些综述文章进行了分析,针对其覆盖范围不全和特征表示以及模型没有清晰划分.首先从异常检测特征表示、异常检测建模2方面对传统经典的和新兴的视频异常检测算法进行分类和描述.然后从基于距离、概率、重构3个方面将不同的算法进行
随着处理器架构的发展,高性能异构多核处理器不断涌现.由于高性能异构多核处理器的设计十分复杂,为了降低设计风险,缩短验证周期,提前进行软件开发,复现硅后问题等,通常需要搭建现场可编程门阵列(field programmable gate array,FPGA)的原型验证平台,并基于FPGA平台开展种类繁多,功能各异的软硬协同验证和调试工作,提出的基于同构FPGA平台对异构多核高性能处理器的FPGA调试、验证方法,有效地利用了异构多核处理器的架构特征,同构FPGA的对称特点,以层次化的方法自顶向下划分FPGA
当前,基于协同过滤和隐因子模型的大学生就业推荐方法,仅考虑学生对就业单位单向偏好易导致“能力失配”,且一个用户一次就业的历史记录极易致负样本不可信,影响推荐性能,同时忽略了对推荐结果的可解释性需求.针对此,依据多任务学习的思路,设计并构建了基于互惠性约束的可解释就业推荐方法.其中,引入注意力机制与模糊门机制,提取并自适应聚合学生与就业单位双向的偏好与需求,缓解“能力失配”问题;提出面向就业意图和就业特征的推荐解释方法,满足可解释性需求;提出基于相似度的随机负采样方法,克服负样本不置信问题.在某高校5届毕业
随着经济和社会的快速发展,国内汽车保有量不断增多,给生态环境保护带来了巨大挑战。出于对环境和能源安全的考虑,越来越多的城市开始构建电动汽车充电站网络。电动汽车依赖于公共充电站提供电量,因此能够准确地预测新城市中充电站的充电需求十分重要,有助于运营策略的制定和新站点的部署工作。由于预测新城市的充电站需求存在冷启动问题,本文使用迁移学习将充电需求知识从具有丰富充电数据的城市迁移到新城市。跨城市充电站需
认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特
知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱予图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过