【摘 要】
:
目前,互联网技术、云计算与物联网技术的突飞猛进使人类社会进入了大数据时代。在大数据时代的背景下,大数据征信将大数据技术用于征信行业,改变了数据收集、加工和分析的方式,同时,更高维度和不同层次的数据都用于信用评分建模,数据的潜在价值不断被挖掘。但是在海量数据被应用的同时也给大数据征信带来了一些挑战:(1)数据汇聚难度大:数据通常来自不同的机构,具有不同的格式,具有多源异构的特点。而现有的数据同步工具
论文部分内容阅读
目前,互联网技术、云计算与物联网技术的突飞猛进使人类社会进入了大数据时代。在大数据时代的背景下,大数据征信将大数据技术用于征信行业,改变了数据收集、加工和分析的方式,同时,更高维度和不同层次的数据都用于信用评分建模,数据的潜在价值不断被挖掘。但是在海量数据被应用的同时也给大数据征信带来了一些挑战:(1)数据汇聚难度大:数据通常来自不同的机构,具有不同的格式,具有多源异构的特点。而现有的数据同步工具通用性较差,且在实时增量同步上有待提高。(2)数据溯源难:Spark、Flink等大数据组件的引入,使得数据的处理过程和计算引擎强关联,常规的血缘分析方法在准确性上欠缺,血缘信息的提取难度大。(3)数据质量差:数据的记录具有随意性,有来自日志、文本等格式的数据,数据的完整性和规范性缺少保证。针对征信数据存在的数据汇聚难度大、数据血缘信息提取困难、数据质量差的问题,为了扩大征信数据集成范围,检测征信数据质量,更好地发挥征信数据的价值,本课题拟通过对数据治理关键技术的研究,设计一个面向大数据征信的数据治理系统。主要包含以下研究内容:1)提出并实现支持数据离线与实时的数据同步作业构建方法与工具。研究多源数据的数据汇聚方法和技术,设计并实现一种能同时支持数据离线与实时数据同步作业的构建工具,优化数据同步作业的配置流程,实现多种数据同步方式的统一化配置。2)提出并实现用于Flink SQL的血缘分析方法。针对现有的血缘分析方法耦合性高、入侵性强、准确性差的缺陷,研究并实现Flink SQL的本地解析,对其解析树进行元数据的验证与替换,实现血缘解析功能的低入侵性和解析结果的准确性。3)设计并实现面向大数据征信的数据治理系统。通过研究数据治理的相关概念和技术方案,设计并实现面向大数据征信的数据治理系统,实现多源数据间的集成与同步,通过数据治理提升征信数据质量,为个人或企业的征信业务的数据的分析及研究工作提供良好的数据支持。本文最终实现了一个数据治理系统,提供元数据管理、数据同步、数据质量管理功能支持。经过验证测试,本文实现的系统效果符合预期,具有良好的通用性和可扩展性,并在国家重点研发计划项目“大数据征信及智能评估技术”中的“大数据征信智能评估与开放平台”上得到了应用及验证,对大数据征信场景下的数据治理工作有一定的借鉴意义。
其他文献
随着互联网和信息技术的逐渐成熟,各种移动设备产生的海量数据将人们带入了信息过载的时代,从海量的信息中挖掘有价值的数据比较困难。网购被越来越多的消费者所关注并逐渐成为一种不可替代的消费方式。然而,从形形色色的商品中选择自己喜欢的商品成为困扰许多消费者的一大难题,推荐系统的诞生就是帮助用户解决选择困难的问题。推荐系统在长达近30年的发展中提出了协同过滤算法、基于内容算法等,但是冷启动问题、时效性问题以
物联网(Io T)被视为继互联网之后的又一次信息技术革命,是新一代信息通信技术的高度集成和综合运用,具有科技含量高、应用领域广、带动作用大等诸多优点。物联网复杂产品系统是物联网的一种特殊外在表现形式,属于工程系统,对提高国民经济和社会信息化水平、推动产业结构调整和技术改革、促进新型基础设施建设和可持续发展、提升国家综合实力具有重要意义。目前,我国物联网复杂产品系统开发仍落后于国外发达国家,科技竞争
近年来随着数字化发展浪潮的席卷,以大数据、“云”计算、物联网、人工智能为主的数字科技革命发展势头迅猛,数字化转型已然是社会进程的必然趋势,数字中国、发展数字经济也成为国家的战略选择。党的二十大为发展建设数字经济、建设数字中国指明了重点和方向,在《数字中国建设整体布局规划》里明确提出“2522”整体框架,即夯实数字基础建设和设施,推动数字技术和经济、政治以及文化生态文明建设的深度融合。随着制造业与数
数字经济时代,信息化与各行各业的融合所形成的产业数字化正成为数字经济增长的主要驱动力。以信息技术为核心的数字经济的发展速度已远远超出人们的预期,严重冲击着传统通信行业企业的生存空间,数字化转型已经不是企业的选择题,而是必答题。作为处于通信业发展前沿的通信技术服务行业的中小企业,数字化转型迫在眉睫,不仅仅是行业发展的需要,也是国家战略发展的需要,更是自身生存发展的需要。所谓数字化转型,其最终目的归根
国际疫情形势日趋严峻,国际油价持续低迷,油气生产企业面临巨大挑战。为应对挑战,F公司遵循三项制度改革,充分引入竞争机制,调动员工积极性,激发企业内部动力;同时依托油气生产物联网项目,提高油气生产效率,优化劳动组织机构。F公司信息管理站作为F公司油气生产物联网项目的管理部门,随着F公司制度改革与物联网项目实施,组织机构多次变动,人员逐渐增多,业务持续拓展,逐渐从成本部门转变为职能部门,其绩效管理体系
中国数字经济的快速发展,既为新兴企业开拓了市场,也为传统产业的发展带来了机遇,在当前的严峻形势下,推动了实体经济的数字化转型,建立了一个全新的数字经济体制。随着新时期推进信息化与工业化深度融合的战略部署,各大企业都全力投入到大数据的研发与应用之中,通过数字技术实现实时决策、精准预测,提升公司的成本管理,降低价值链中各环节的成本,提升企业的整体竞争力。而在资源有限的环境中,价值链成本管理的优势是最重
网络社会作为一种新的社会方式存在,改变了传统的社会结构和人的生存方式,网络舆论也成为透视社会公众民意的“晴雨表”。当前,世界正处于百年未有之大变局,中国正处于利益格局大调整期,网络舆情与网络安全息息相关、与社会稳定息息相关。随着互联网的迅速发展,在催生新业态的同时,也引发了网络领域的道德问题。“网络道德舆情”是在互联网上传播的公众对某一突发事件所表现的带有道德评价的意见或言论,并形成舆论共振,从而
研究生导师是我国研究生教育的核心力量,担负着培养国家高层次人才的重要使命。立德树人是我国教育的根本任务,研究生导师作为研究生培养的第一责任人,承担着立德树人的重任。近年来,研究生导师队伍立德树人成效斐然,培养了一批有责任、有担当、有理想、有信念的新时代青年,但是也出现了极少数导师忽视立德树人根本任务,甚至突破了教师道德的底线,给整个研究生导师队伍带来了巨大的负面影响,使研究生导师队伍处于风口浪尖。
移动机会网络能够应用于通信链路频繁中断、网络中缺乏通信基础设施的场景,符合实际的自组网需求,对未来物联网技术的普及具有重要影响。数据分发和数据收集是移动机会网络中许多应用的基础,具有十分重要的研究意义。然而,移动机会网络中节点间的间歇性连通、节点资源有限、传输数据时延较长等特点为数据分发和收集方法的设计带来了巨大挑战。虽然有大量的研究关注移动机会网络中的数据传输,但大多数仅针对“一对一”的传输形式