论文部分内容阅读
摘 要 钢铁企业作为资本密集型行业,大部分企业的信息化投入已经达到一定水平,上世纪九十年代以来各类钢铁企业的ERP成本管理系统相继投运,企业成本管理水平有很大提高,如何在现有的ERP成本管理基础上进一步提升成本管理水平是大家面临的共同课题。拟就如何利用数据仓库技术提升钢铁企业成本管理,并就构建开发的一般路径及需要注意的问题进行探讨。
关键词 钢铁;成本;数据仓库;商业智能
中图分类号 F2 文献标识码 A 文章编号 1673-9671-(2010)112-0185-01
1 数据仓库技术特点
为了更好的使用数据仓库技术,我们首先要明确数据仓库能够做什么,与常规的ERP业务系统有何差别。广义的数据仓库技术又称商务智能,英文为Business Intelligence。从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。
1)数据库是面向事务的设计,数据仓库是面向主题设计的。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计。ERP等数据库系统通常是一个联机业务系统,随着业务的发生在不断的创造业务数据。数据仓库等商业智能工具一般不会主动的创造数据,而是收集整理已有的业务数据进行分析、展现。数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。
2)OLAP委员会对联机分析处理的定义为:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。
3)数据挖掘是通过归纳的方式,在海量数据中主动找寻模型,自动发掘隐藏在数据中的价值信息。
2 钢铁企业启动成本数据仓库开发的前提条件
1)较为完整稳定的成本相关数据来源。ERP等业务系统已经较为成熟,能够产出较为全面完整的业务数据,数据质量能够得到保证,否则数据仓库这样一个分析系统就会成为无源之水。在钢铁企业中主要体现在:①有一个完整稳定的计量管理体系,各生产工序的产耗等基本成本信息能够完整收集并有较高的可信度;②企业的成本管理系统及相关产副品存货、能源、销售等业务系统能够自动及时的收集成本相关业务数据。
2)明确的成本分析主题需求。ERP这类业务系统一般是先有业务,然后再构建系统,目标通常较比明确。而数据仓库作为一个分析系统是在已有的数据基础上进行提炼,从中获取有用的信息和知识,其目标往往是不明确的。这就需要在数据仓库开发前对成本数据甚至相关业务数据有一个整体的把握和认知,从中提炼分析主题。
3 成本数据仓库建设的一般路径
成本数据仓库建设的一般路径-整体规划,分步实施,由易到难,逐步深入。成本数据仓库建设不可能一步到位,它是随着企业的管理水平和业务人员的分析能力而逐步扩展,由基础的成本数据分析到成本专题分析,再到成本数据挖掘,成本分析层次逐步提高。
1)基础应用-综合成本分析平台。在成本数据仓库引入初期,可以考虑先将开发成本报表系统,它是BI的低端实现。①成本报表是需求通常比较明确,源头数据范围主要集中在成本管理数据,开发难度较低;②通过建立综合成本分析平台,满足财务管理部门日常成本分析的需要,提高财务人员工作效率,使财务人员从大量重复的常规手工成本分析报表中解脱出来,使数据仓库的效益尽快发挥出来;③将报表从ERP系统中转移到数据仓库,可以有效降低在线业务系统的运行负荷,使ERP和数据仓库做好各自善长的事情;④数据仓库报表系统并不是ERP报表的简单复制,它是对成本管理数据的重新审视,从中多维分析角度构建成本分析主题。
2)中级应用-成本专题分析。在数据仓库的运用比较成熟以后,可以针对成本管理领域的难点问题梳理出成本专题,建立专门成本分析数据集市。钢铁企业成本管理中常见专题分析如下:①针对质量成本损失建立质量成本数据集市;②针对钢铁产品品种决策问题,建立明细产品成本计算和盈利能力分析数据集市,为品种结构战略分析、接单生产组织和品种拓展以及公司用户管理和差异化定价提供决策支持;③为解决成本标准制定问题,建立成本指标分析数据集市,为基层生产与管理人员提供现场成本管理工具。
3)高级应用-自主分析、数据挖掘。在培养一批能够熟练运用系统分析工具的业务专家后,有一些企业已经开始进入高端BI,叫做数据挖掘。通过使用OLAP和数据挖掘工具,从业务数据中提炼知识。通过将先进的数据挖掘技术引入到钢铁生产成本管理领域,可以从大量的钢铁生产成本历史数据中获得潜在的规律和发展趋势,以指导钢铁生产,降低产品成本。数据挖掘的方法很多,目前比较常用的有关联法、聚类法、相关性分析和偏差分析等。常用的技术有数理统计分析、神经网络、专家系统、智能代理、决策树和遗传算法等。
4 成本数据仓库建设中应注意的问题
1)数据源质量风险:源头系统数据缺失,数据异常。①严格执行源头数据源头调整原则,系统逐级确认;②数据仓库系统采用合理的数据清洗规则,异常数据报警反馈机制,并提供异常数据修正机制。
2)需求确认风险:需求不明,需求无法按时定案,反复改动、调整,影响系统开发进度。①紧密围绕项目目标,进行必要的需求控制,避免需求泛滥;②建立跨部门的项目工作小组,各部门专人负责,明确责任;③细化需求分析节点,渐进式分阶段的实施与必要的项目总结机制保证。
3)系统平台风险:选型不当,性能无法满足。①系统平台选择注重成熟性和可扩展性,满足业务系统扩展、公司规模扩张和产品发展的需要;②设备采购与项目开发同步进行,需要保证项目过程中每个节点所需配套的设备采购情况按时到位。
参考文献
[1]数据仓库.(Building the Data Warehouse),W.H.Inmon 著,机械工业出版社出版.
[2]杨文灏.数据仓库、OLAP和数据挖掘的比较分析[J].金融电子化,2008,2.
[3]刘晓冰,张浩.钢铁企业生产成本数据集市及数据挖掘研究[J].计算机集成制造系统,2006,10.
关键词 钢铁;成本;数据仓库;商业智能
中图分类号 F2 文献标识码 A 文章编号 1673-9671-(2010)112-0185-01
1 数据仓库技术特点
为了更好的使用数据仓库技术,我们首先要明确数据仓库能够做什么,与常规的ERP业务系统有何差别。广义的数据仓库技术又称商务智能,英文为Business Intelligence。从技术层面上讲,商业智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。
1)数据库是面向事务的设计,数据仓库是面向主题设计的。
数据库是为捕获数据而设计,数据仓库是为分析数据而设计。ERP等数据库系统通常是一个联机业务系统,随着业务的发生在不断的创造业务数据。数据仓库等商业智能工具一般不会主动的创造数据,而是收集整理已有的业务数据进行分析、展现。数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。
2)OLAP委员会对联机分析处理的定义为:使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。
3)数据挖掘是通过归纳的方式,在海量数据中主动找寻模型,自动发掘隐藏在数据中的价值信息。
2 钢铁企业启动成本数据仓库开发的前提条件
1)较为完整稳定的成本相关数据来源。ERP等业务系统已经较为成熟,能够产出较为全面完整的业务数据,数据质量能够得到保证,否则数据仓库这样一个分析系统就会成为无源之水。在钢铁企业中主要体现在:①有一个完整稳定的计量管理体系,各生产工序的产耗等基本成本信息能够完整收集并有较高的可信度;②企业的成本管理系统及相关产副品存货、能源、销售等业务系统能够自动及时的收集成本相关业务数据。
2)明确的成本分析主题需求。ERP这类业务系统一般是先有业务,然后再构建系统,目标通常较比明确。而数据仓库作为一个分析系统是在已有的数据基础上进行提炼,从中获取有用的信息和知识,其目标往往是不明确的。这就需要在数据仓库开发前对成本数据甚至相关业务数据有一个整体的把握和认知,从中提炼分析主题。
3 成本数据仓库建设的一般路径
成本数据仓库建设的一般路径-整体规划,分步实施,由易到难,逐步深入。成本数据仓库建设不可能一步到位,它是随着企业的管理水平和业务人员的分析能力而逐步扩展,由基础的成本数据分析到成本专题分析,再到成本数据挖掘,成本分析层次逐步提高。
1)基础应用-综合成本分析平台。在成本数据仓库引入初期,可以考虑先将开发成本报表系统,它是BI的低端实现。①成本报表是需求通常比较明确,源头数据范围主要集中在成本管理数据,开发难度较低;②通过建立综合成本分析平台,满足财务管理部门日常成本分析的需要,提高财务人员工作效率,使财务人员从大量重复的常规手工成本分析报表中解脱出来,使数据仓库的效益尽快发挥出来;③将报表从ERP系统中转移到数据仓库,可以有效降低在线业务系统的运行负荷,使ERP和数据仓库做好各自善长的事情;④数据仓库报表系统并不是ERP报表的简单复制,它是对成本管理数据的重新审视,从中多维分析角度构建成本分析主题。
2)中级应用-成本专题分析。在数据仓库的运用比较成熟以后,可以针对成本管理领域的难点问题梳理出成本专题,建立专门成本分析数据集市。钢铁企业成本管理中常见专题分析如下:①针对质量成本损失建立质量成本数据集市;②针对钢铁产品品种决策问题,建立明细产品成本计算和盈利能力分析数据集市,为品种结构战略分析、接单生产组织和品种拓展以及公司用户管理和差异化定价提供决策支持;③为解决成本标准制定问题,建立成本指标分析数据集市,为基层生产与管理人员提供现场成本管理工具。
3)高级应用-自主分析、数据挖掘。在培养一批能够熟练运用系统分析工具的业务专家后,有一些企业已经开始进入高端BI,叫做数据挖掘。通过使用OLAP和数据挖掘工具,从业务数据中提炼知识。通过将先进的数据挖掘技术引入到钢铁生产成本管理领域,可以从大量的钢铁生产成本历史数据中获得潜在的规律和发展趋势,以指导钢铁生产,降低产品成本。数据挖掘的方法很多,目前比较常用的有关联法、聚类法、相关性分析和偏差分析等。常用的技术有数理统计分析、神经网络、专家系统、智能代理、决策树和遗传算法等。
4 成本数据仓库建设中应注意的问题
1)数据源质量风险:源头系统数据缺失,数据异常。①严格执行源头数据源头调整原则,系统逐级确认;②数据仓库系统采用合理的数据清洗规则,异常数据报警反馈机制,并提供异常数据修正机制。
2)需求确认风险:需求不明,需求无法按时定案,反复改动、调整,影响系统开发进度。①紧密围绕项目目标,进行必要的需求控制,避免需求泛滥;②建立跨部门的项目工作小组,各部门专人负责,明确责任;③细化需求分析节点,渐进式分阶段的实施与必要的项目总结机制保证。
3)系统平台风险:选型不当,性能无法满足。①系统平台选择注重成熟性和可扩展性,满足业务系统扩展、公司规模扩张和产品发展的需要;②设备采购与项目开发同步进行,需要保证项目过程中每个节点所需配套的设备采购情况按时到位。
参考文献
[1]数据仓库.(Building the Data Warehouse),W.H.Inmon 著,机械工业出版社出版.
[2]杨文灏.数据仓库、OLAP和数据挖掘的比较分析[J].金融电子化,2008,2.
[3]刘晓冰,张浩.钢铁企业生产成本数据集市及数据挖掘研究[J].计算机集成制造系统,2006,10.