达州银行是四川省东北部的城市商业银行。它既有发展的必然性,也存在发展的局限性,它是市场的产物,却又有地域的限制。相比于国内外大中型商业银行,它晚发展数十年,无论在技术上,还是业务上,都处于起步阶段,也是蓬勃发展的阶段。在发展的过程中,出现了许多技术上的问题和业务上的问题。本文以达州银行数据仓库系统为研究对象,阐述如何解决达州银行在发展过程中遇到的一些问题。本文主要研究内容如下:(1)研究Shark Start工具的批量数据自动匹配采集方法。以Shark Start工具的点对点手工配置采集为基础,研究Shark Start工具的批量数据配置采集方法、自动匹配采集方法与非法字符的预处理方法,降低人工干预,缩短开发周期,提高开发效率。(2)研究基于银行传统数据仓库系统的准实时客户行为主题模型。采用Hadoop大数据技术,包含Kafka实时数据采集技术、Stream实时数据分析技术、Map Reduce实时数据计算技术、HDFS实时数据存储技术,对客户行为数据进行实时加工处理。再结合银行传统数据仓库系统的静态数据主题模型,研究准实时客户行为主题模型,实现银行数据仓库系统的动态与静态为一体的数据主题模型,提高业务数据的综合使用价值。(3)研究数据可视化技术。以Moia Visual工具的静态表格形式的数据可视化为基础,研究在Moia Visual工具中集成可以动态图形化的永洪BI可视化开发工具,提高准实时数据可视化的展现效果。本文建立在上述研究内容的基础之上,主要研究成果和创新点如下:(1)提出了一种基于银行数据仓库系统的准实时客户行为主题模型。针对客户行为分析需求,在传统的静态数据模型基础上,设计了结合数据仓库动态客户数据的主题分析模型,初步实现了准实时客户的行为分析,为客户行为分析提供了更能反映实际情况的手段。(2)提出了一种基于Shark Start的数据批量自动匹配采集方法。在Shark Start数据采集功能基础上,使用了Excel模板配置,采用了Python和SQL技术,改进了原系统的数据采集方式,实现了数据的批量自动采集功能,提高了数据采集的效率。综上,通过对达州银行数据仓库系统的建设,解决了ETL过程中存在的技术问题;解决了数据可视化过程中存在的技术问题;完成了准实时客户行为主题模型设计;实现了高管驾驶舱准实时数据可视化运用;实现了行内综合报表和监管报表的静态数据可视化运用,提高了市场竞争力,防范了经营风险,满足了人民银行的监管要求。