论文部分内容阅读
摘要：基于大数据智能分析技术的金融风险监管平台融合统计学、经济学、人工智能等多种方法提升金融风险评估方法，解决现有金融机构风险评价中的瓶颈问题，实现了对新金融机构个体、行业的系统监测和动态评估，把握新金融机构动态发展趋势及其风险特征，从而推动在监管科技和监管方法上取得突破。
关键词：大数据；金融风险监管；智能数据分析
中图分类号：TP319
Design and Research of Financial Risk Supervision Platform Based on Big Data Intelligent Analysis Technology
Ding Jiong[1]，zhangXiaoming[1]，FU Qingwei[1]，Zhao Wenyu[2]，Fan Tao[2]
（1. Shanghai Shuquan Data Technology Co.， Ltd.， Shanghai，200237；
2.Center for Financial Data Research， East China University of Technology， Shanghai， 200237）
ABSTRACT： Financial risk monitoring platform based on big data intelligent analysis technology integrates statistics， economics， artificial intelligence and other methods to improve financial risk assessment methods， to solve the bottleneck problem in the risk assessment of existing financial institutions， and to realize the systematic monitoring and dynamic assessment of new financial institutions'individuals and industries. The dynamic development trend and risk characteristics of new financial institutions promote breakthroughs in regulatory technology and methods.
Key words： big data； financial risk supervision； intelligent data analysis
1.背景
隨着互联网（尤其是移动互联网）经济爆发式的增长，从2013年开始的网络支付、网络借贷、网络理财等各类互联网金融、移动金融的创新发展，到如今从中央到地方全面针对此类新金融规范发展的大命题的转变，如何识别新金融风险并引导其健康发展就成为了地方新金融服务和管理部门的关键任务之一[1]。伴随近年来新金融的狂飙突进式发展，各类逾期违约、跑路失联、非法集资、理财诈骗等风险事件也层出不穷，且愈演愈烈[2]。目前，互联网金融风险专项整治工作已进入“清理整顿”阶段，在处置不同形态的互联网金融时[3]，要把投资者的利益放在第一位。平台旨在通过大数据的技术手段整合机构运营数据、政府公共信用数据、网络舆情数据等数据源，通过对多元数据的清洗挖掘和风险建模，形成对区域新金融风险的综合监测与分析报告[4]。
2.平台建设方案
2.1平台实施路径
构建互联网金融信用风险评价和监测预警平台，为金融监管提供新的方法和技术，从而保障我国金融业的健康有序发展。具体而言，本平台的技术实施路径包括：
1、根据互联网金融的业务模式、特点与风险特征，建立一个更加全面的金融机构信用风险评价体系，以保障风险评估的有效性；
2、基于多源异构大数据，利用大数据技术和数据挖掘方法提取数据特征，从而形成对互联网金融机构的风险画像分析；
3、融合统计学、经济学、人工智能等多种方法提升风险评估方法[5]，解决现有金融机构信用风险评价中的瓶颈问题，对互联网平台的风险给出定量分析；
4、构建互联网金融平台的风险监测系统，从而实现对互联网金融各个平台的监测和动态评估，以把握互联网平台的动态发展趋势及其动态风险特征，从而推动在监管科技和监管方法上取得突破。
2.2 平台的功能模块
平台的功能模块如图1所示。根据需要，项目建设后拟实现的新业务流程如图2所示。根据金融机构信用风险评价系统对数据的需求，基于开放互联网通过Scrapy分布式爬虫框架获取海量异构数据，并通过文本筛选过滤等方式实现对数据的清洗和预处理。
根据业务相关文档的文本语义特征与潜在关系，完成对业务相关文档的多标签标注与语义分类，实现基于集成学习的多标签分类；利用深度学习实现训练数据的构建和文本特征的选择，实现金融企业的多维画像属性抽取与知识图谱构建； 基于信息文本挖掘的信用评价指标体系，分类特征库与评价指标映射，信用风险评价指标度量和信用风险评价模型形成对金融机构信用风险评价。
2.3 平台的整体架构
平台的整体架构如图3所示，由硬件层、大数据支撑层、平台系统层构成。
1、硬件层：新金融监管平台可基于云服务部署，因此其硬件部分包括云计算资源，云存储资源和网络资源组成。当然基于内部已有服务器或虚机资源也可重新搭建硬件环境。
2、大数据支撑层：包含大数据平台及其各个功能组件，包括分布式存储的分布式文件存储系统[6]，资源管理组件YARN[7]，批处理组件PIG[8]和框架MapReduce2，工作流组件Oozie[9]，交互式分析组件Zeppelin[10]和交互工具HUE，ES全文搜索引擎，实时同步组件Data Alive[11]，数据集成组件Sqoop[12]和日志采集工具Flume，消息队列Kafka，协作服务组件 Zookeeper以及建立在这些组件之上的PL/SQL引擎，数据挖掘与及机器学习引擎，NoSQL 数据库和流处理引擎。 3、平台系统层：平台框架系统、数据可视化系统、预警监测系统、风险评估系统、管理与共享系统。
3.经济及社会效益
3.1对防范地方金融风险和预测研判的作用
项目落地实施后可以有助于当地的新金融风险实现“穿透式”，精细化，针对化监管。对与新金融机构的每次交易实现数据颗粒更加细致的监管预警机制，发现新金融机构风险点，针对式的提出整改意见。通过大数据平台汇聚海量的地方金融风险数据，依据风险评估模型，对区域经济金融风险起到预测研判的作用。
3.2对提升能级和扩大就业的作用
平台可填补当前针对地方新金融监测服务的空白，并为线上金融业务风控提供智能化解决方案，实现高效便捷的金融供需对接，优化行业生态和服务模式。项目开发过程中，还会直接带动40-50人新增就业机会，培养一批大数据金融风控人才。
3.3对区域经济和行业发展的带动作用
平台正式落地投入使用后，通过净化区域金融环境，为新金融行业更多守法合规机构拓宽业务道路，大力发展普惠金融提供必要保障；同时，平台拓展大数据在金融监管，包括金融行业的应用示范；最后项目承建方及其合作方将积极引入数十家相关企业，大力发展金融科技，创新金融，人工智能等方面在我市的建设，并拟牵头发起相关人工智能大数据产业基金。
4.总结
根据全国金融工作会议导向，增强金融监管协调的权威性有效性，强化金融监管的专业性统一性穿透性，所有金融业务都要纳入监管，及时有效识别和化解风险。建立健全我市新金融综合监测服务平台，对于金融风险防范工作创新和有益尝试，一方面可有效拓展相关监管机构的视野，减轻日常监管的工作压力和负担，实现对新金融风险的“早发现、早研判、早预警、早处置”；另一方面也会对新金融机构运营和发展形成威慑和规范引导作用，从而促进区域新金融产业健康可持续发展。
未来，可以基于区域试验性落地经验，并结合其他地区特点进行系统优化，推广试验。成为金融監管、金融风控的示范项目，也是地方新金融机构拥护监管，证明机构实力的标杆项目。在地方政府金融监管部门指导下，不断优化加强系统智能监管能力，对规范新金融发展，践行普惠金融起到推动作用。
参考文献：
[1].赵文瑜， 范涛， 候秦，等. 金融交易风险监控平台的相关技术研究[J]. 电子测试， 2016（17）：178-181.
[2].黄清观. 论提升互联网防控金融风险监测预警能力[J]. 公安教育， 2018（2）：34-37.
[3].李博. 探析商业银行供应链金融风险控制[J]. 财会学习， 2018（11）.
[4].袁轶. 商业银行金融会计风险防范与控制[J]. 财会学习， 2018（16）.
[5].陶兴海. 基于Scrapy框架的分布式网络爬虫实现[J]. 电子技术与软件工程， 2017（11）：23-23.
[6].Harter T， Borthakur D， Dong S， et al. Analysis of HDFS under HBase： a facebook messages case study[M]. USENIX Association， 2014.
[7].Wang K， Meng Q， Zhang Y， et al. High-performance two-ply yarn supercapacitors based on carbon nanotubes and polyaniline nanowire arrays.[J]. Advanced Materials， 2013， 25（10）：1494-1498.
[8].Zhao P， Yu Y， Feng W， et al. Evidence of evolutionary history and selective sweeps in the genome of Meishan pig reveals its genetic and phenotypic characterization.[J]. Gigascience， 2018， 7（5）.
[9].Vaddeman B. Creating and Scheduling Workflows Using Apache Oozie[M]// Beginning Apache Pig. 2016.
[10].Ladefoged L K， Zeppelin T， Schi？tt B. Molecular modeling of neurological membrane proteins ？ from binding sites to synapses[J]. Neuroscience Letters， 2018.
[11].Richins D， Ahmed T， Clapp R， et al. Amdahl's Law in Big Data Analytics： Alive and Kicking in TPCx-BB （BigBench）[C]// IEEE International Symposium on High Performance Computer Architecture. 2018.
[12].Richins D， Ahmed T， Clapp R， et al. Amdahl's Law in Big Data Analytics： Alive and Kicking in TPCx-BB （BigBench）[C]// IEEE International Symposium on High Performance Computer Architecture. 2018.
上海市经济和信息化委员会人工智能创新发展专项支持项目：针对新金融风险的大数据智能监管平台建设与应用，项目编号：2017-RGZN-01018
关键词：大数据；金融风险监管；智能数据分析
中图分类号：TP319
Design and Research of Financial Risk Supervision Platform Based on Big Data Intelligent Analysis Technology
Ding Jiong[1]，zhangXiaoming[1]，FU Qingwei[1]，Zhao Wenyu[2]，Fan Tao[2]
（1. Shanghai Shuquan Data Technology Co.， Ltd.， Shanghai，200237；
2.Center for Financial Data Research， East China University of Technology， Shanghai， 200237）
ABSTRACT： Financial risk monitoring platform based on big data intelligent analysis technology integrates statistics， economics， artificial intelligence and other methods to improve financial risk assessment methods， to solve the bottleneck problem in the risk assessment of existing financial institutions， and to realize the systematic monitoring and dynamic assessment of new financial institutions'individuals and industries. The dynamic development trend and risk characteristics of new financial institutions promote breakthroughs in regulatory technology and methods.
Key words： big data； financial risk supervision； intelligent data analysis
1.背景
隨着互联网（尤其是移动互联网）经济爆发式的增长，从2013年开始的网络支付、网络借贷、网络理财等各类互联网金融、移动金融的创新发展，到如今从中央到地方全面针对此类新金融规范发展的大命题的转变，如何识别新金融风险并引导其健康发展就成为了地方新金融服务和管理部门的关键任务之一[1]。伴随近年来新金融的狂飙突进式发展，各类逾期违约、跑路失联、非法集资、理财诈骗等风险事件也层出不穷，且愈演愈烈[2]。目前，互联网金融风险专项整治工作已进入“清理整顿”阶段，在处置不同形态的互联网金融时[3]，要把投资者的利益放在第一位。平台旨在通过大数据的技术手段整合机构运营数据、政府公共信用数据、网络舆情数据等数据源，通过对多元数据的清洗挖掘和风险建模，形成对区域新金融风险的综合监测与分析报告[4]。
2.平台建设方案
2.1平台实施路径
构建互联网金融信用风险评价和监测预警平台，为金融监管提供新的方法和技术，从而保障我国金融业的健康有序发展。具体而言，本平台的技术实施路径包括：
1、根据互联网金融的业务模式、特点与风险特征，建立一个更加全面的金融机构信用风险评价体系，以保障风险评估的有效性；
2、基于多源异构大数据，利用大数据技术和数据挖掘方法提取数据特征，从而形成对互联网金融机构的风险画像分析；
3、融合统计学、经济学、人工智能等多种方法提升风险评估方法[5]，解决现有金融机构信用风险评价中的瓶颈问题，对互联网平台的风险给出定量分析；
4、构建互联网金融平台的风险监测系统，从而实现对互联网金融各个平台的监测和动态评估，以把握互联网平台的动态发展趋势及其动态风险特征，从而推动在监管科技和监管方法上取得突破。
2.2 平台的功能模块
平台的功能模块如图1所示。根据需要，项目建设后拟实现的新业务流程如图2所示。根据金融机构信用风险评价系统对数据的需求，基于开放互联网通过Scrapy分布式爬虫框架获取海量异构数据，并通过文本筛选过滤等方式实现对数据的清洗和预处理。
根据业务相关文档的文本语义特征与潜在关系，完成对业务相关文档的多标签标注与语义分类，实现基于集成学习的多标签分类；利用深度学习实现训练数据的构建和文本特征的选择，实现金融企业的多维画像属性抽取与知识图谱构建； 基于信息文本挖掘的信用评价指标体系，分类特征库与评价指标映射，信用风险评价指标度量和信用风险评价模型形成对金融机构信用风险评价。
2.3 平台的整体架构
平台的整体架构如图3所示，由硬件层、大数据支撑层、平台系统层构成。
1、硬件层：新金融监管平台可基于云服务部署，因此其硬件部分包括云计算资源，云存储资源和网络资源组成。当然基于内部已有服务器或虚机资源也可重新搭建硬件环境。
2、大数据支撑层：包含大数据平台及其各个功能组件，包括分布式存储的分布式文件存储系统[6]，资源管理组件YARN[7]，批处理组件PIG[8]和框架MapReduce2，工作流组件Oozie[9]，交互式分析组件Zeppelin[10]和交互工具HUE，ES全文搜索引擎，实时同步组件Data Alive[11]，数据集成组件Sqoop[12]和日志采集工具Flume，消息队列Kafka，协作服务组件 Zookeeper以及建立在这些组件之上的PL/SQL引擎，数据挖掘与及机器学习引擎，NoSQL 数据库和流处理引擎。 3、平台系统层：平台框架系统、数据可视化系统、预警监测系统、风险评估系统、管理与共享系统。
3.经济及社会效益
3.1对防范地方金融风险和预测研判的作用
项目落地实施后可以有助于当地的新金融风险实现“穿透式”，精细化，针对化监管。对与新金融机构的每次交易实现数据颗粒更加细致的监管预警机制，发现新金融机构风险点，针对式的提出整改意见。通过大数据平台汇聚海量的地方金融风险数据，依据风险评估模型，对区域经济金融风险起到预测研判的作用。
3.2对提升能级和扩大就业的作用
平台可填补当前针对地方新金融监测服务的空白，并为线上金融业务风控提供智能化解决方案，实现高效便捷的金融供需对接，优化行业生态和服务模式。项目开发过程中，还会直接带动40-50人新增就业机会，培养一批大数据金融风控人才。
3.3对区域经济和行业发展的带动作用
平台正式落地投入使用后，通过净化区域金融环境，为新金融行业更多守法合规机构拓宽业务道路，大力发展普惠金融提供必要保障；同时，平台拓展大数据在金融监管，包括金融行业的应用示范；最后项目承建方及其合作方将积极引入数十家相关企业，大力发展金融科技，创新金融，人工智能等方面在我市的建设，并拟牵头发起相关人工智能大数据产业基金。
4.总结
根据全国金融工作会议导向，增强金融监管协调的权威性有效性，强化金融监管的专业性统一性穿透性，所有金融业务都要纳入监管，及时有效识别和化解风险。建立健全我市新金融综合监测服务平台，对于金融风险防范工作创新和有益尝试，一方面可有效拓展相关监管机构的视野，减轻日常监管的工作压力和负担，实现对新金融风险的“早发现、早研判、早预警、早处置”；另一方面也会对新金融机构运营和发展形成威慑和规范引导作用，从而促进区域新金融产业健康可持续发展。
未来，可以基于区域试验性落地经验，并结合其他地区特点进行系统优化，推广试验。成为金融監管、金融风控的示范项目，也是地方新金融机构拥护监管，证明机构实力的标杆项目。在地方政府金融监管部门指导下，不断优化加强系统智能监管能力，对规范新金融发展，践行普惠金融起到推动作用。
参考文献：
[1].赵文瑜， 范涛， 候秦，等. 金融交易风险监控平台的相关技术研究[J]. 电子测试， 2016（17）：178-181.
[2].黄清观. 论提升互联网防控金融风险监测预警能力[J]. 公安教育， 2018（2）：34-37.
[3].李博. 探析商业银行供应链金融风险控制[J]. 财会学习， 2018（11）.
[4].袁轶. 商业银行金融会计风险防范与控制[J]. 财会学习， 2018（16）.
[5].陶兴海. 基于Scrapy框架的分布式网络爬虫实现[J]. 电子技术与软件工程， 2017（11）：23-23.
[6].Harter T， Borthakur D， Dong S， et al. Analysis of HDFS under HBase： a facebook messages case study[M]. USENIX Association， 2014.
[7].Wang K， Meng Q， Zhang Y， et al. High-performance two-ply yarn supercapacitors based on carbon nanotubes and polyaniline nanowire arrays.[J]. Advanced Materials， 2013， 25（10）：1494-1498.
[8].Zhao P， Yu Y， Feng W， et al. Evidence of evolutionary history and selective sweeps in the genome of Meishan pig reveals its genetic and phenotypic characterization.[J]. Gigascience， 2018， 7（5）.
[9].Vaddeman B. Creating and Scheduling Workflows Using Apache Oozie[M]// Beginning Apache Pig. 2016.
[10].Ladefoged L K， Zeppelin T， Schi？tt B. Molecular modeling of neurological membrane proteins ？ from binding sites to synapses[J]. Neuroscience Letters， 2018.
[11].Richins D， Ahmed T， Clapp R， et al. Amdahl's Law in Big Data Analytics： Alive and Kicking in TPCx-BB （BigBench）[C]// IEEE International Symposium on High Performance Computer Architecture. 2018.
[12].Richins D， Ahmed T， Clapp R， et al. Amdahl's Law in Big Data Analytics： Alive and Kicking in TPCx-BB （BigBench）[C]// IEEE International Symposium on High Performance Computer Architecture. 2018.
上海市经济和信息化委员会人工智能创新发展专项支持项目：针对新金融风险的大数据智能监管平台建设与应用，项目编号：2017-RGZN-01018