论文部分内容阅读
摘 要：山东GDP全国第三，但传统产业占比为70%，最大痛点是民生领域服务业，成本高、效益差、效率低，且商品结构、业态结构同质化严重，“老树发新芽”的动能转调进程总体上落后;服务业仍以商贸、餐饮、住宿等传统服务业为主，多层次、多样化、个性化需求的现代服务业发展缓慢，民生领域消费者触发率、转化率高的“无中生有”的“大数据+新业态新模式”的原创都不在山东，结构性短板及制约凸显，本文主要探讨分析企业转型与发展过程中问题与措施。
一、主要问题
根据今年最新统计数据显示，山东省位列全国GDP排名第三，其中传统产业对GDP的贡献占比约为70%，属于典型的由传统行业支撑发展的经济大省，传统民生服务行业对于我省的经济发展也起到重要的支撑助力作用。目前山东省主要传统行业基本上是由多元化集团型企业引领行业发展，传统企业的“供需”结构转型升级压力较大，基本上都面临“大象转身”的痛点，尤其是我省传统行业与大数据、人工智能、区块链等新技术的融合应用远远落后于长三角、珠三角地区，难以实现技术驱动、技术创新的效果。
二、國内外发展比较
从国内外技术发展趋势来看，大数据生态体系已经开始迅速发展，硬件产品的迭代升级及开源产品日益丰富使得大数据领域的技术体系纷繁复杂，其中有诸多行业应用格外受到关注。随着网络数据的剧增，场景化应用的市场需求，导致传统的数据采集、存储、处理、分析、展示技术已难以满足场景化应用的市场需求，分布式并行计算、数据挖掘、机器学习等新兴技术迅速发展。
从大数据技术体系来看，自Hadoop大数据系统架构诞生以来，传统数据库需要向分布式转型，从数据在信息系统中的生命周期看，数据分析技术生态主要有 5个发展方向，包括数据采集与传输、数据存储与管理、计算处理、查询与分析、可视化展现;在数据采集与传输领域渐渐形成了 Sqoop、Flume、Kafka 等一系列开源技术，兼顾离线和实时数据的采集和传输;在数据存储管理方面，HDFS 已经成为了大数据磁盘存储的事实标准，针对关系型以外的数据模型，开源社区形成了 K-V（key-value）、列式、文档、图这四类 NoSQL 数据库体系，其中Redis、HBase、Cassandra、MongoDB、Neo4j 等数据库是各个领域的领先者;计算处理引擎方面，Spark 已经取代 MapReduce 成为了大数据平台统一的计算平台，其中在实时计算领域 Flink 是 Spark Streaming 强力的竞争者;在数据查询和分析领域形成了丰富的 SQL on Hadoop 的解决方案，Hive、Impala、Presto、Spark SQL 等技术与传统的大规模并行处理（massively parallel processor，MPP）数据库竞争激烈，目前Hive仍然在该领域处于主流地位;在数据可视化领域，敏捷商业智能（business intelligence，简称BI）分析工具 Tableau、QlikView 呈现出快速发展趋势，灵活简洁已经成为数据可视化的趋势。
三、企业转型基础
山东省商业集团有限公司成立发展27年来，重点涉足民生服务各个领域，主要包括“传统零售、文化旅游、综合地产、生物制药、现代金融”五大领域，细分行业多达20多个业态，沉淀了PB级别的数据资源，服务的会员数量达到2000余万，其中，年消费2万以上的忠诚会员达100万以上，供应商5万多家，遍布全国和世界各地，这些行业微观数据，为集团内不同业态数据挖掘、融合、生产新数据和数据产品，对外进行交换和交易，再生产新数据和数据产品，再进行交换和交易，循环往复，数据资产和价值几何级数据增长，为发展大数据流通交易产业，奠定了基础，同时，集成100多万个忠诚消费者客户数据和5万多家供应商客户数据，为建设发展“大数据+智慧定制”新商业，提供了加速发展的保障基础。
企业大数据转型的重点是，在“大数据采集层—大数据技术层—大数据应用层—大数据融合层—大数据共享层”五大层级上突破多项商贸流通领域大数据技术生态体系中具有先进性、领先性的关键技术，集成研发面向“智慧零售、文化旅游、综合地产、医药康养、现代金融”等行业领域的 “1+1+5+X”一体化综合分析应用平台。“1+1+5+X”一体化综合分析应用平台主要面向“消费者”进行五大业态的客户画像（含家庭成员画像）、消费行为与轨迹、潜在消费需求等底层数据采集，开展供需两端产品结构分析，优化产品结构与供应链，精准营销、智慧定制服务等。面向“管理者”提供五大业态运营、财务资金状态数据分析为科学管理决策提供依据。
四、产业示范引领与经济社会效益
项目产业化示范方面是，重点研究解决多元化集团型企业数据价值分析发掘能力不足、综合利用效果不佳、资源配置不合理、产业创新驱动不足等问题，以多项大数据关键技术科研成果为核心，依托山东省商业集团有限公司在传统服务行业的运用经验及PB级的海量数据源，成立“鲁商大数据产业发展集团有限公司”的法人实体，开展项目科研成果产业化工作，变“数据资源”为“数据资产”，重点围绕“数据资产”、“数据交易”、“互联网+融合应用”，探索“大数据+商业”的新商业运营模式，带动100家中小型企业进行大数据技术产品创新，构建大数据技术创新生态，依托山东省商业集团有限公司成熟的商业网络，打造智慧供应链大数据驱动的商业创新模式，构建大数据商业应用生态。
重点研究解决多元化集团型企业数据价值分析发掘能力不足、综合利用效果不佳、资源配置不合理、产业创新驱动不足等问题，以多项大数据关键技术科研成果为核心，依托山东省商业集团有限公司在传统服务行业的运用经验及PB级的海量数据源，开展项目科研成果产业化工作，变“数据资源”为“数据资产”，重点围绕“数据资产”、“数据交易”、“互联网+融合应用”，探索“商业+大数据”的大数据运营商业模式，带动100家小微企业进行大数据技术产品创新，构建大数据技术创新生态，依托山东省商业集团有限公司成熟的商业网络，打造智慧供应链业大数据驱动的商业模式创新，构建大数据商业应用生态，项目预计新增产值3亿元，新增利润1000万元，新增税收300万元。
通过企业转型实现山东省商业集团有限公司各类数据采集、数据处理、数据分析、数据应用、平台可视化等主要功能，通过信息化手段提升管理能力和服务能力，及时准确掌握集团及各产业经营情况，为集团总部和各产业的战略规划、决策支持、业务指导、运营支撑提供有力的数据支持，做到“用数据说话、用数据管理、用数据决策、用数据创新”。同时能给山东其他商业企业进行复制，带动其他商业企业能力提升。
作者简介：
张建喜，性别：男，籍贯：山东潍坊，民族：汉，出生年月：1979.10，学位：硕士，职称：高级工程师，研究方向：冷链物流，软件工程，单位： 山东商业职业技术学院;
毕然 ， 性别：男， 籍贯：山东济南，民族：汉 出生年月：1982年6月，学位：硕士研究生， 职称：高级工程师，研究方向：信息技术、人工智能、大数据技术，单位： 山东省云商务大数据工程研究中心。
（山东商业职业技术学院 山东省云商务大数据工程研究中心）
一、主要问题
根据今年最新统计数据显示，山东省位列全国GDP排名第三，其中传统产业对GDP的贡献占比约为70%，属于典型的由传统行业支撑发展的经济大省，传统民生服务行业对于我省的经济发展也起到重要的支撑助力作用。目前山东省主要传统行业基本上是由多元化集团型企业引领行业发展，传统企业的“供需”结构转型升级压力较大，基本上都面临“大象转身”的痛点，尤其是我省传统行业与大数据、人工智能、区块链等新技术的融合应用远远落后于长三角、珠三角地区，难以实现技术驱动、技术创新的效果。
二、國内外发展比较
从国内外技术发展趋势来看，大数据生态体系已经开始迅速发展，硬件产品的迭代升级及开源产品日益丰富使得大数据领域的技术体系纷繁复杂，其中有诸多行业应用格外受到关注。随着网络数据的剧增，场景化应用的市场需求，导致传统的数据采集、存储、处理、分析、展示技术已难以满足场景化应用的市场需求，分布式并行计算、数据挖掘、机器学习等新兴技术迅速发展。
从大数据技术体系来看，自Hadoop大数据系统架构诞生以来，传统数据库需要向分布式转型，从数据在信息系统中的生命周期看，数据分析技术生态主要有 5个发展方向，包括数据采集与传输、数据存储与管理、计算处理、查询与分析、可视化展现;在数据采集与传输领域渐渐形成了 Sqoop、Flume、Kafka 等一系列开源技术，兼顾离线和实时数据的采集和传输;在数据存储管理方面，HDFS 已经成为了大数据磁盘存储的事实标准，针对关系型以外的数据模型，开源社区形成了 K-V（key-value）、列式、文档、图这四类 NoSQL 数据库体系，其中Redis、HBase、Cassandra、MongoDB、Neo4j 等数据库是各个领域的领先者;计算处理引擎方面，Spark 已经取代 MapReduce 成为了大数据平台统一的计算平台，其中在实时计算领域 Flink 是 Spark Streaming 强力的竞争者;在数据查询和分析领域形成了丰富的 SQL on Hadoop 的解决方案，Hive、Impala、Presto、Spark SQL 等技术与传统的大规模并行处理（massively parallel processor，MPP）数据库竞争激烈，目前Hive仍然在该领域处于主流地位;在数据可视化领域，敏捷商业智能（business intelligence，简称BI）分析工具 Tableau、QlikView 呈现出快速发展趋势，灵活简洁已经成为数据可视化的趋势。
三、企业转型基础
山东省商业集团有限公司成立发展27年来，重点涉足民生服务各个领域，主要包括“传统零售、文化旅游、综合地产、生物制药、现代金融”五大领域，细分行业多达20多个业态，沉淀了PB级别的数据资源，服务的会员数量达到2000余万，其中，年消费2万以上的忠诚会员达100万以上，供应商5万多家，遍布全国和世界各地，这些行业微观数据，为集团内不同业态数据挖掘、融合、生产新数据和数据产品，对外进行交换和交易，再生产新数据和数据产品，再进行交换和交易，循环往复，数据资产和价值几何级数据增长，为发展大数据流通交易产业，奠定了基础，同时，集成100多万个忠诚消费者客户数据和5万多家供应商客户数据，为建设发展“大数据+智慧定制”新商业，提供了加速发展的保障基础。
企业大数据转型的重点是，在“大数据采集层—大数据技术层—大数据应用层—大数据融合层—大数据共享层”五大层级上突破多项商贸流通领域大数据技术生态体系中具有先进性、领先性的关键技术，集成研发面向“智慧零售、文化旅游、综合地产、医药康养、现代金融”等行业领域的 “1+1+5+X”一体化综合分析应用平台。“1+1+5+X”一体化综合分析应用平台主要面向“消费者”进行五大业态的客户画像（含家庭成员画像）、消费行为与轨迹、潜在消费需求等底层数据采集，开展供需两端产品结构分析，优化产品结构与供应链，精准营销、智慧定制服务等。面向“管理者”提供五大业态运营、财务资金状态数据分析为科学管理决策提供依据。
四、产业示范引领与经济社会效益
项目产业化示范方面是，重点研究解决多元化集团型企业数据价值分析发掘能力不足、综合利用效果不佳、资源配置不合理、产业创新驱动不足等问题，以多项大数据关键技术科研成果为核心，依托山东省商业集团有限公司在传统服务行业的运用经验及PB级的海量数据源，成立“鲁商大数据产业发展集团有限公司”的法人实体，开展项目科研成果产业化工作，变“数据资源”为“数据资产”，重点围绕“数据资产”、“数据交易”、“互联网+融合应用”，探索“大数据+商业”的新商业运营模式，带动100家中小型企业进行大数据技术产品创新，构建大数据技术创新生态，依托山东省商业集团有限公司成熟的商业网络，打造智慧供应链大数据驱动的商业创新模式，构建大数据商业应用生态。
重点研究解决多元化集团型企业数据价值分析发掘能力不足、综合利用效果不佳、资源配置不合理、产业创新驱动不足等问题，以多项大数据关键技术科研成果为核心，依托山东省商业集团有限公司在传统服务行业的运用经验及PB级的海量数据源，开展项目科研成果产业化工作，变“数据资源”为“数据资产”，重点围绕“数据资产”、“数据交易”、“互联网+融合应用”，探索“商业+大数据”的大数据运营商业模式，带动100家小微企业进行大数据技术产品创新，构建大数据技术创新生态，依托山东省商业集团有限公司成熟的商业网络，打造智慧供应链业大数据驱动的商业模式创新，构建大数据商业应用生态，项目预计新增产值3亿元，新增利润1000万元，新增税收300万元。
通过企业转型实现山东省商业集团有限公司各类数据采集、数据处理、数据分析、数据应用、平台可视化等主要功能，通过信息化手段提升管理能力和服务能力，及时准确掌握集团及各产业经营情况，为集团总部和各产业的战略规划、决策支持、业务指导、运营支撑提供有力的数据支持，做到“用数据说话、用数据管理、用数据决策、用数据创新”。同时能给山东其他商业企业进行复制，带动其他商业企业能力提升。
作者简介：
张建喜，性别：男，籍贯：山东潍坊，民族：汉，出生年月：1979.10，学位：硕士，职称：高级工程师，研究方向：冷链物流，软件工程，单位： 山东商业职业技术学院;
毕然 ， 性别：男， 籍贯：山东济南，民族：汉 出生年月：1982年6月，学位：硕士研究生， 职称：高级工程师，研究方向：信息技术、人工智能、大数据技术，单位： 山东省云商务大数据工程研究中心。
（山东商业职业技术学院 山东省云商务大数据工程研究中心）