数据集成的变与不变

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:skb09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  大数据的需求来自哪里?美国的一些大型互联网厂商,比如Google、Yahoo、Facebook等,它们拥有的用户数和每日必须处理的数据量都多得惊人。基于此,这些互联网厂商开始利用一些新技术构建庞大的信息处理平台,其中开源产品尤其受到欢迎,比如Hadoop随之逐渐盛行起来。商业企业看到互联网厂商发生的这些变化,也开始关注大数据。
  专注于数据集成的Informatica公司企业数据集成产品管理总监郑玮介绍说:“其实,在大数据这个概念出现以前,大规模并行处理(MPP)的需求早就出现了,横向扩展技术也已得到应用。但是,这些处理大数据的解决方案性价比不高。大数据的概念出现后,越来越多的厂商开始在提高大数据解决方案的经济性方面下功夫。”
  Informatica的主要客户是像金融公司这样的传统企业。它们是否也面临着大数据的挑战呢?郑玮的回答是肯定的。像德意志银行、摩根士丹利等金融机构普通采用的风险分析就是大数据的实际应用。
  
  与硬件保持距离
  
  为了满足大数据的需要,数据集成产品本身会不会做出改变?郑玮表示:“回顾信息技术的发展历史,其实每五六年就会出现一次新的技术浪潮。我们时刻关注这些变化,而且走在这种变化的前面。因此,对于Informatica来说,大数据的出现并不意外,这种变化是自然而然发生的。Informatica只用了6个月的时间就开发出支持Hadoop的解决方案。大数据的出现并不会改变Informatica软件开发的底层技术核心。但是,由于数据量的快速增长,资源的调配方式或用户的一些使用方式可能会发生改变。”
  对业界流行的软硬件集成的一体化解决方案,Informatica敬而远之。“Informatica只做软件。Informatica将与硬件厂商以及数据仓库厂商进行广泛合作,但自己不会涉足这些领域。”郑玮表示,“未来,我们的产品也不会与硬件或数据仓库产品进行绑定。Informatica将继续保持中立的地位。我们会更加专注,只做与数据集成、数据质量、主数据管理等相关的业务。”
  由于产品的特殊性,Informatica将数据集成比喻成一座桥梁,它可以连接硬件、数据仓库、商务智能等产品。郑玮表示,Informatica最大的竞争对手其实是传统的手工处理方式。
  一家知名的卡车运输公司采用Informatica Hadoop产品对其半结构化数据进行处理,从而提高了卡车的调配效率。以前,调配一辆卡车至少需要半天时间,而现在只要几分钟而已。
  国内一家全球500强企业近日主动找到Informatica,希望借助Informatica的数据集成产品实现知识管理。
  
  处理好非结构化数据
  
  由于非结构化数据量猛增,用户必然面临如何同时处理好结构化数据和非结构化数据的问题,比如什么时候将数据放在传统的数据仓库中,什么时候要用开源的Hadoop处理数据。Informatica能帮助用户在同一个平台上处理结构化和非结构化数据。郑玮认为,处理好结构化数据和非结构化数据的关键是系统能够根据数据类型的不同,自动将结构化的数据分配到能处理结构化数据的系统中,而将非结构化的数据分配到能处理非结构化数据的系统中。
  能不能将结构化数据和非结构化数据先统一成一种格式的數据,然后再进行处理或分析呢?郑玮表示:“在进行数据处理之前,没有必要对数据类型进行转化或解析,因为预处理过程会浪费很多时间。现在,业内一些主流的厂商采取的都是将结构化数据和非结构化数据分开处理的方式。”在处理非结构化数据方面,Hadoop已经成了一个事实上的标准。
  郑玮表示:“大数据仍处于应用的初始阶段。我们曾经访问过40位行业客户,他们对大数据处理表现出浓厚的兴趣。大数据的应用会很快铺开,相关的成功案例也会不断涌现。”
其他文献
品牌集中化是市场走向成熟的标志。相对PC市场而言,智能手机市场容纳下iOS、Android和Windows Phone就已经很拥挤了。  ——本报记者 马文方    在不到一个月的时间内,先是在9月14日,微软支持ARM的Windows 8预览版首次亮相,同一天,英特尔与谷歌联手,宣布在凌动CPU上支持Android,到RIM手机10月10日发生故障,导致全球大范围的服务中断。这三件事情让智能手机
如今移动互联网以其飞快的发展速度、诱人的市场前景、庞大的用户需求成为了最受关注的行业之一,越来越多的企业也投身到移动互联网的浪潮中,加入这场未来之战。新的行业带来新的机遇,往往也会涌现出一些具有活力、潜力和洞察力的创新型企业,北京易卡互动信息技术有限公司(英文名称“BITCAR”)就是其中之一。  iPad也能卖汽车?  记者与BITCAR相关负责人的第一次会面安排在北京的一家汽车4S店,一踏入店
当中国第一高楼的光环远离时,金茂集团把注意力聚焦到了对规模、效率和品牌的建设上。正是在这个转折点上,王浩抓住了信息化的支点。他知道,在信息化建设上,没有第一高度,但要有最好的结果;做到这些,遵循的原则就是,合适的才是最好的。    站在421米高的金茂大厦上,王浩总有一种向更高处仰望的冲动。作为中国金茂(集团)有限公司(以下简称金茂集团)的信息主管,从1999年时为全球第三、中国第一高楼的金茂大厦
整个2011年,整个显示领域的市场一直显得不温不火。作为成熟产品,期待显示器市场自发出现快速增长的局面有些不现实。同时,在激烈的拼杀下,显示器的利润率早已降到了一个较低的水平。为此,显示厂商唯有革新以实现企业的增长。  那么,从哪个角度进行革新呢?我们注意到,除了在外观设计、调节能力等方面进行不断提升这些传统手段之外,自2011年起,厂商在几个方面的变革速度明显加快:在已有成熟技术的基础上,推出采
早在2004年,当大多数人度假出行的选择还集中在甄别旅行社和研究自助旅行上时,李代山提出了一个大胆的想法:能不能把旅游线路放到网络上来卖?于是,便有了今天的悠哉旅游网,他也成为了开创在线旅游线路网站的第一人。目前,悠哉旅游网已经在上海、北京、杭州、南京、成都、天津、宁波等地设立了分公司,深圳等地的分公司也会于近期开设。預计到2011年中,悠哉旅游网将在全国开设20个分支机构,让全国的旅游者能够体验
帝联科技成为IDC/CDN行业的佼佼者,拥有创新技术,善于运筹帷幄之间,决胜于千里之外。这不仅是一种气度,更是一种心境,一种超然。  帝联科技一直把创新作为企业的灵魂。公司拥有超过60%的研发技术人员,先后研发出“帝联分析”、“非法信息监控”等产品。  “帝联分析”是对域名进行常用数据分析及展示的系统,包含流量分析、内容分析、访客分析、来源分析、搜索引擎五大功能模块,具有20多个不同类型的分析展示
第一输油处是长庆油田分公司下设的二级生产单位,下属共有10个场站,跨越5个地(市)16个县(区),是公司目前输量最大的管道之一。据了解,其IT部门于2010年11月对内进行了升级改造,以处机关的千兆接入为汇聚层,百兆连接至下属的各输油场站,使全网从三层架构更改成二层架构。  改造之后,终端设备数量达到近500台,服务器超过20台,再加之机关附属、基层场站、培训中心、宾馆等多业务模式下频繁的负责的信
随着移动互联网应用的快速发展和移动智能终端的日益普及,信息安全行业正焕发着全新的、夺目的光彩,但同时也面临前所未有的来自信息安全方面的威胁和诸多问题。如何面对这些挑战,真正迎来移动互联的美好时代?    如何保护通信网络    作为国家基础行业,通信行业具有网络规模庞大、网络结构复杂、覆盖范围大等行业特点。如何在固定通信网、移动通信网、互联网、骨干传输网等网络中有效地开展等级保护、风险评估、灾难备
李彦宏描述框计算战略时说,未来的电脑,在按下开关键1秒钟之内就会出现一个框。——1秒钟启动的操作系统?看来只好百度自己做了。    百度要做手机操作系统了。即便是在本文刊登后的第三天也就是9月2日,百度在其2010年科技创新大会上这样宣布,这事也不新鲜,因为从7月19日开始,这一传言已经风靡互联网了。于是乎,在这种传言的千呼万唤中,百度在大会上从善如流地顺应了“网意”也是合情合理的。  可万一李彦
2011年度  中国行业信息化最具成长力企业奖  杭州创业软件股份有限公司是医疗卫生行业信息化建设全面解决方案提供商和服务商,也是目前国内医疗卫生行业软件领域的龙头企业,公司整体实力和市场占有率居市场首位。秉承“创造数字医疗,服务健康事业”的经营理念,杭州创业软件股份有限公司一直以建设中国第一流的软件企业为目标。    杭州创业软件股份有限公司成立于1997年12月,注册资本5100万元,自成立以