论文部分内容阅读
[摘 要]搜索引擎具有内容和信息容量巨大,高并发、低延时的处理请求,传统集中式计算平台不仅成本高,而且已经逐渐无法满足这样的应用需求。云计算平台可以作为其核心业务处理和基础技术平台,提供互联网业务大容量信息和对内容进行存储、管理和处理。所以,云计算能让商业智能如虎添翼。
[关键词]云计算 商业智能 互联网
中图分类号:TP415 文献标识码:A 文章编号:1009-914X(2015)37-0339-01
1、何为商业智能
目前的电信运营商以及互联网服务行业主要在经营分析领域推广商业智能的应用,而随着用户规模的扩大及对应用目标的多样需求,更多的系统也引发了商业智能的需求。这些需要商业化智能的领域主要包括如下几个。
经营分析领域:包括数据的多维分析、数据探索、基本的数据统计报表及数据挖掘等,以支持决策人员进行生产经营的决策及制定营销策略。
网管领域:包括网管信令信息的分析、统计及网管信令挖掘,以支持网络优化、网络故障分析等。
互联网领域:包括互联网访问日志分析、挖掘等,以支持对用户的个性化业务推荐及广告营销等。
2、商业智能因何而被掣肘
当前中国大多数企业在商业智能领域面临了新的挑战:首先,随着客户的使用数量越来越多,由此产生的海量用户数据,仅支撑领域,截止2009年初,中国的一个移动运营商拥有的数据仓库规模为6000TB,再如一个中等规模的省级移动通信运营公司拥有大约1000万用户,每年产生的CDR数据量大约在12~16TB。
一个很普通的一般业务,其所需目标数据的挖掘过程,在通过计算机进行初步数据加工处理后,数据采集的过程算法需要处理大约10GB的数据。
其次,随着应用需求的愈加复杂及变化多样,商业智能应用向其IT支撑平台提出了更高的计算要求及存储能力要求,并且还必须要提出具有时效性的要求,及时有效的市场规划才能引导决策者做出正确的经营决策。
很多传统的商业化智能运行系统通常在微型机的平台上集中实现,而封闭的系统导致了系統扩展性较差、成本较高等缺点,使商业智能的发展受到很多限制。
3、云计算给企业商业化智能的发展提供了梦想的发展
随着用户对海量数据存储及处理需求的提升,云计算平台应运而生,云计算以提供大型数据中心的姿态跃于眼前,提供海量数据的存储和计算等服务。
云计算的数据中心以PC整合的方式,进行平行演算的平台支撑。GFS是一个Google的开源实现系统,是一个可靠的、可开发的分布式数据存储、处理平台,给所有渴望新技术的人们提供了一个很好的机会。基于的数据挖掘算法也引起了学术界及工业界的关注,Google开展了基于的数据挖掘项目,斯坦福大学的学者也基于开发了一些数据挖掘算法,用于对多核及多处理器系统进行评估,并实现了一个开源系统。但是,目前还处于算法研究阶段,对于商业智能应用的支持涉及的较少,这里笔者以电信领域为例,研究基于云计算平台的商业智能系统解决方案。
4、依托于云计算的商业智能化系统应关注哪些要素
4.1 云计算方案思路
考虑电信运营商的商业智能系统的典型特征应包括海量数据、复杂处理、高扩展性等要求,具体来讲要主要考虑以下几点。
海量数据需求:电信运营商的经营分析系统、网管系统等数据量巨大,拥有世界上最大的数据仓库,需要低成本、高可靠的IT存储支持。
复杂处理需求:移动运营商的经营分析系统、网络管理系统需要对数据进行统计、分析、处理等复杂操作。
高扩展性需求:随着用户规模的升级,要求IT系统具有庞大的可扩展性,减少扩容压力。
云计算具有高性能、低成本、可扩展及高灵活性的特点,给海量的数据存储及处理提供了IT基础支撑平台。Google的云计算最初针对搜索引擎系统而设计,提供海量数据的存储能力,其数据处理特征为一次写多次读。随着云计算应用的增多及云计算体系架构的不断改进,可支撑的应用场景也逐渐增多。商业智能应用系统数据访问特征主要为一次写和多次读,尤其针对经过ETL处理之后的分析和挖掘。由云计算平台作为电信运营商的商业智能系统的IT支撑平台,可有效的利用云计算数据中心解决以上需求。
4.2 依托于云计算的并行数据挖掘系统应包含的主要要素
基于云计算的平行数据采集系统需包含三层,由上到下包含应用业务层、平行数据采集平台和云计算的底层平台。各层次应包含如下功能。
(1)业务应用层实现电信类的业务应用,以供市场部门制定营销策略,具体业务应用如社会交往圈分析、网络流量分析、集团客户提纯、家庭客户识别、时序业务关联分析、客户轨迹管理、用户画像分析等。
(2)平行数据采集平台:数据装载和导出,支持多格式、并行数据装载和导出功能;数据管理,支持数据和原始数据的远程访问和管理;结果展示,对数据采集模型进行分析,并将数据采集结果展示给用户。
(3)云计算应用平台包括以下部分
分布式文件系统:提供分布式存储数据文件,提供操作数据的接口包括文件读取、创建、删除等系统文件的操作。
并行程序开发和设计环境:提供并行开发运行程序的环境,整体实现平行任务的功能调度。
海量结构化存储系统:提供海量数据的结构化存储,支持部分数据库语句。
5、回归起源的云计算——丰富多样的搜索应用
5.1 因搜索而来的云计算技术
Google、雅虎、百度、亚马逊等一些成熟的互联网服务提供商的云计算平台是由数百成千甚至上万节点组成的大规模计算系统,提供大量数据储存、管理和应用,并获得了较成功的应用。云计算平台具有如下优势: 第一,云计算平台基于廉价的工业标准PC搭建,成本低。基于云计算平台的开源软件生态圈已经相对成熟,从分布式存储到海量结构化数据的管理都已经有完整的解决方案。在全世界数以万计开源工作者的努力下,已经在功能、性能和稳定性方面取得了很大的突破,有理由相信开源的云计算软件平台会成为未来该领域的主流力量。
第二,云计算应用平台扩展灵活。云计算平台采用分布式、联合式的系统架构,系统管理开销较小,具有较好的可扩展性。同时,由于云计算平台可以搭建在性能异构的节点上,使企业和研究机构可以重用已有的硬件设备,方便企业系统到云计算平台的过渡。
第三,云计算应用平台利于开展新的业务。在云计算的时代,多种业务共享云计算平台,这为通过邮件应用拓展其他业务提供了方便条件。例如,与广告推送、飞信等业务相结合,以及拓展类似Google日历、文档等功能的服务。这些都有利于用户提升亲切感,从而提升增值业务利润。
6、云计算助力IDC大展身手
6.1 IDC现状
IDC具有高品质的網络资源,充沛、稳定、可靠的电力供给,足够的机房空间,高品质的机房配套设施,完善细致的服务,可以显著节省企业信息化成本、提高用户访问质量,并为企业提供专业化的IT技术支持,从而使企业可以更加专注于自己的核心业务。互联网网民和网站数量的迅速增长为IDC提供了良好的产业环境。
随着互联网业务和信息技术的发展,IDC技术及服务模式也一直在不断创新和发展。第二代IDC,一方面注重开拓新的服务功能和提升服务质量,另一方面改进IDC建设和运营的机制。注重IDC的软环境建设,通过标准化和规范化的运营,提升服务质量。此外,环境、安全和成本也都是IDC面临的挑战。为应对上述挑战,云计算技术已被IDC所采用,以客户为中心的第三代IDC正在兴起和发展。
6.2 总结
所以,应积极研究和探讨“云计算”在IDC的IT基础设施、服务、应用系统建设模式等方面的应用和革新。探讨基于云计算构建IDC并推动其成为社会“信息工厂”的思路及思考,包括基于云计算技术构建IDC强大的IT基础设施及其之上的各类服务。
参考文献
[1]《云计算》刘鹏,北京电子工业出版社,2003.
[2]《中国未来的IT战略》王鹏,黄华峰,曹珂,北京人民出版社,2004.
[3]《后电信时代》童晓渝,邮电出版社,2010.
[4]虚拟化与云计算[M].王庆波,北京电子工业出版社,2007.
[5]浅析云计算技术[J].杨光雨,福建电脑,2009.
[6]云计算研究进展综述[J].张建勋,计算机应用研究,2005.
[关键词]云计算 商业智能 互联网
中图分类号:TP415 文献标识码:A 文章编号:1009-914X(2015)37-0339-01
1、何为商业智能
目前的电信运营商以及互联网服务行业主要在经营分析领域推广商业智能的应用,而随着用户规模的扩大及对应用目标的多样需求,更多的系统也引发了商业智能的需求。这些需要商业化智能的领域主要包括如下几个。
经营分析领域:包括数据的多维分析、数据探索、基本的数据统计报表及数据挖掘等,以支持决策人员进行生产经营的决策及制定营销策略。
网管领域:包括网管信令信息的分析、统计及网管信令挖掘,以支持网络优化、网络故障分析等。
互联网领域:包括互联网访问日志分析、挖掘等,以支持对用户的个性化业务推荐及广告营销等。
2、商业智能因何而被掣肘
当前中国大多数企业在商业智能领域面临了新的挑战:首先,随着客户的使用数量越来越多,由此产生的海量用户数据,仅支撑领域,截止2009年初,中国的一个移动运营商拥有的数据仓库规模为6000TB,再如一个中等规模的省级移动通信运营公司拥有大约1000万用户,每年产生的CDR数据量大约在12~16TB。
一个很普通的一般业务,其所需目标数据的挖掘过程,在通过计算机进行初步数据加工处理后,数据采集的过程算法需要处理大约10GB的数据。
其次,随着应用需求的愈加复杂及变化多样,商业智能应用向其IT支撑平台提出了更高的计算要求及存储能力要求,并且还必须要提出具有时效性的要求,及时有效的市场规划才能引导决策者做出正确的经营决策。
很多传统的商业化智能运行系统通常在微型机的平台上集中实现,而封闭的系统导致了系統扩展性较差、成本较高等缺点,使商业智能的发展受到很多限制。
3、云计算给企业商业化智能的发展提供了梦想的发展
随着用户对海量数据存储及处理需求的提升,云计算平台应运而生,云计算以提供大型数据中心的姿态跃于眼前,提供海量数据的存储和计算等服务。
云计算的数据中心以PC整合的方式,进行平行演算的平台支撑。GFS是一个Google的开源实现系统,是一个可靠的、可开发的分布式数据存储、处理平台,给所有渴望新技术的人们提供了一个很好的机会。基于的数据挖掘算法也引起了学术界及工业界的关注,Google开展了基于的数据挖掘项目,斯坦福大学的学者也基于开发了一些数据挖掘算法,用于对多核及多处理器系统进行评估,并实现了一个开源系统。但是,目前还处于算法研究阶段,对于商业智能应用的支持涉及的较少,这里笔者以电信领域为例,研究基于云计算平台的商业智能系统解决方案。
4、依托于云计算的商业智能化系统应关注哪些要素
4.1 云计算方案思路
考虑电信运营商的商业智能系统的典型特征应包括海量数据、复杂处理、高扩展性等要求,具体来讲要主要考虑以下几点。
海量数据需求:电信运营商的经营分析系统、网管系统等数据量巨大,拥有世界上最大的数据仓库,需要低成本、高可靠的IT存储支持。
复杂处理需求:移动运营商的经营分析系统、网络管理系统需要对数据进行统计、分析、处理等复杂操作。
高扩展性需求:随着用户规模的升级,要求IT系统具有庞大的可扩展性,减少扩容压力。
云计算具有高性能、低成本、可扩展及高灵活性的特点,给海量的数据存储及处理提供了IT基础支撑平台。Google的云计算最初针对搜索引擎系统而设计,提供海量数据的存储能力,其数据处理特征为一次写多次读。随着云计算应用的增多及云计算体系架构的不断改进,可支撑的应用场景也逐渐增多。商业智能应用系统数据访问特征主要为一次写和多次读,尤其针对经过ETL处理之后的分析和挖掘。由云计算平台作为电信运营商的商业智能系统的IT支撑平台,可有效的利用云计算数据中心解决以上需求。
4.2 依托于云计算的并行数据挖掘系统应包含的主要要素
基于云计算的平行数据采集系统需包含三层,由上到下包含应用业务层、平行数据采集平台和云计算的底层平台。各层次应包含如下功能。
(1)业务应用层实现电信类的业务应用,以供市场部门制定营销策略,具体业务应用如社会交往圈分析、网络流量分析、集团客户提纯、家庭客户识别、时序业务关联分析、客户轨迹管理、用户画像分析等。
(2)平行数据采集平台:数据装载和导出,支持多格式、并行数据装载和导出功能;数据管理,支持数据和原始数据的远程访问和管理;结果展示,对数据采集模型进行分析,并将数据采集结果展示给用户。
(3)云计算应用平台包括以下部分
分布式文件系统:提供分布式存储数据文件,提供操作数据的接口包括文件读取、创建、删除等系统文件的操作。
并行程序开发和设计环境:提供并行开发运行程序的环境,整体实现平行任务的功能调度。
海量结构化存储系统:提供海量数据的结构化存储,支持部分数据库语句。
5、回归起源的云计算——丰富多样的搜索应用
5.1 因搜索而来的云计算技术
Google、雅虎、百度、亚马逊等一些成熟的互联网服务提供商的云计算平台是由数百成千甚至上万节点组成的大规模计算系统,提供大量数据储存、管理和应用,并获得了较成功的应用。云计算平台具有如下优势: 第一,云计算平台基于廉价的工业标准PC搭建,成本低。基于云计算平台的开源软件生态圈已经相对成熟,从分布式存储到海量结构化数据的管理都已经有完整的解决方案。在全世界数以万计开源工作者的努力下,已经在功能、性能和稳定性方面取得了很大的突破,有理由相信开源的云计算软件平台会成为未来该领域的主流力量。
第二,云计算应用平台扩展灵活。云计算平台采用分布式、联合式的系统架构,系统管理开销较小,具有较好的可扩展性。同时,由于云计算平台可以搭建在性能异构的节点上,使企业和研究机构可以重用已有的硬件设备,方便企业系统到云计算平台的过渡。
第三,云计算应用平台利于开展新的业务。在云计算的时代,多种业务共享云计算平台,这为通过邮件应用拓展其他业务提供了方便条件。例如,与广告推送、飞信等业务相结合,以及拓展类似Google日历、文档等功能的服务。这些都有利于用户提升亲切感,从而提升增值业务利润。
6、云计算助力IDC大展身手
6.1 IDC现状
IDC具有高品质的網络资源,充沛、稳定、可靠的电力供给,足够的机房空间,高品质的机房配套设施,完善细致的服务,可以显著节省企业信息化成本、提高用户访问质量,并为企业提供专业化的IT技术支持,从而使企业可以更加专注于自己的核心业务。互联网网民和网站数量的迅速增长为IDC提供了良好的产业环境。
随着互联网业务和信息技术的发展,IDC技术及服务模式也一直在不断创新和发展。第二代IDC,一方面注重开拓新的服务功能和提升服务质量,另一方面改进IDC建设和运营的机制。注重IDC的软环境建设,通过标准化和规范化的运营,提升服务质量。此外,环境、安全和成本也都是IDC面临的挑战。为应对上述挑战,云计算技术已被IDC所采用,以客户为中心的第三代IDC正在兴起和发展。
6.2 总结
所以,应积极研究和探讨“云计算”在IDC的IT基础设施、服务、应用系统建设模式等方面的应用和革新。探讨基于云计算构建IDC并推动其成为社会“信息工厂”的思路及思考,包括基于云计算技术构建IDC强大的IT基础设施及其之上的各类服务。
参考文献
[1]《云计算》刘鹏,北京电子工业出版社,2003.
[2]《中国未来的IT战略》王鹏,黄华峰,曹珂,北京人民出版社,2004.
[3]《后电信时代》童晓渝,邮电出版社,2010.
[4]虚拟化与云计算[M].王庆波,北京电子工业出版社,2007.
[5]浅析云计算技术[J].杨光雨,福建电脑,2009.
[6]云计算研究进展综述[J].张建勋,计算机应用研究,2005.