大数据存储平台必须具有弹性

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:Jewellerymay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  目前,业界对大数据的讨论很多,归纳起来主要包括以内下几方面内容:海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value)。实际上,大数据首先要考虑的问题应该是“大”,即海量的数据规模。
  大数据之“大”
  “大”是相对而言的概念。例如,对于像SAP HANA这样的内存数据库来说,2TB就算是大容量了,而对于像谷歌这样的搜索引擎,EB(Exabyte)级的数据量才能称得上是大数据。
  “大”也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB内外部附加存储的能力。当时,大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。
  有容乃大
  由此看来,大数据存储的首要需求是存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。
  存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。
  中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDS VSP的虚拟化功能,大型企业可以创建0.25EB容量的存储池。
  随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?
  不断“生长”的大数据
  与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限,导致文件系统可以容纳的文件、目录或对象的数量受到限制。HNAS和HCP使用基于对象的文件系统,使得其容量能够扩展到PB级,可以容纳数十亿个文件或对象。位于VSP或HUS之上的HNAS和HCP网关不仅可以充分利用模块存储的可扩展性,而且可以享受到通用管理平台Hitachi Command Suite带来的好处。HNAS和HCP为大数据的存储提供了一个优良的架构。
  大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后台完成。大数据只要复制一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。HDS的所有产品均可以实现后台的数据移动和分层,并可以增加VSP、HUS数据池、HNAS文件系统、HCP的容量,还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。
  大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP和HUS的冗余配置,并能为HNAS和HCP节点提供相同的弹性。大数据存储平台需要将文件、块数据和内容集成到一个统一的Hitachi Command Suite管理平台之上,以满足大数据处理和应用的需求。
其他文献
2012年度中国  连锁行业分销软件  最佳产品奖  三联软件为连锁企业提供销售与分销相关的全面解决方案,支持各种分销业务模式,满足企业在订货计划、生产进度跟踪、仓储物流、价格政策、信用管理、售后服务、客户关系管理和终端管理等方面的销售、分销管理需求,使管理者能在瞬息万变的市场竞争中快速掌握复杂的业务数据,并根据需要进行分析,辅助决策。  连锁经济已经越来越成为中国市场经济的重要组成部分。伴随着公
随着现代商业的发展,商务人士的移动扫描需求越来越强烈。律师去见客户时,需要将证据、合同等法律文件及时传回总部;保险代理人需要第一时间将保单等文件传回总公司审批;秘书需要将领导的名片等重要信息及时、快速地备份;物流用户在外面需要及时将快递单上传到公司服务器,以备用户查询……有了移动扫描仪他们的效率会得到大幅提升。  “目前移动商务市场是成长最快的市场,办公设备提供商不进入这个市场就是失职。”柯达图文
北京昆仑海岸传感技术有限公司成立于1994年,是经北京市科委、北京市财政局、北京市国税局、北京市地税局共同认证的高新技术企业,总部设于北京市中关村高新技术产业区核心区。作为已有17年历史的高新技术企业,昆仑海岸拥有数十项发明与实用新型的专利和软件著作权等专有技术的知识产权,是北京市科委的技术产业转化项目的实施单位,同时也是市政府物联网重点扶持企业,产品和技术始终保持着行业领先地位。公司具有中级以上
随着信息存储技术、处理分析技术的发展和云计算等新兴信息技术应用模式的出现,人们使用IT资源的成本在逐渐降低,汇聚、存储、组合数据再分析的能力超过以往,且数据对业务增长的价值也逐渐凸显,这才使得大数据的概念又得到重视。  IT行业总不乏新鲜的主题,而大数据正当其兴,被业界热情传诵,“数据是一种资产”的概念已成为毫无疑问的共识。EMC、惠普、IBM、微软、谷歌等全球IT巨头纷纷针对大数据加紧部署,诸多
和一些对信息化管理持质疑态度的企业管理者不同,王刚一直坚信这种管理手段能够让他的团队高效协作,释放更强大的力量。但在信息化管理的探索之路上,王刚的热情差点被浇灭,他甚至还下过自己开发管理软件的决心。而今天,王刚却很感激当初将快普M6介绍给他的那位朋友。因为,正是这次机会,令他找到了能伴随北京赛科世杰成长的管理软件。  在中小企业管理软件市场,用户对软件企业的抱怨声总是不绝于耳。所以在采访北京赛科世
北京冠群金辰软件有限公司(简称冠群金辰)成立于1998年,是拥有完全自主知识产权的网络安全产品、服务与解决方案的提供商。冠群金辰的KILL品牌诞生于1989年,是国内第一款防病毒软件。目前,公司拥有KILL防毒墙、KILL网络防病毒系统、KILL木马防御和安全预警等六大类系列安全产品。冠群金辰公司为企业提供基于深层防御体系建立的整体安全解决方案与服务。  冠群金辰的KILL防毒墙、KILL网络防病
3·15不仅是消费者权益日,更是企业产品和服务质量的竞技场日,也是新闻媒体和新闻记者职业操守和专业素养的试金石。我们应该在"走转改"中炼就一双慧眼,成为社会诚信体系建设的观察者、参与者。    央视在一篇回顾报道中说,20多年前,一首脍炙人口的《雾里看花》,不仅捧红了歌手那英,也捧出了央视3·15晚会。   自此之后,每年的3·15,几乎成了消费者扬眉吐气的节日,也成了一些企业严阵以待的难关。这
2月21日,阿里巴巴集团宣布,拟以每股13.5港元回购其旗下子公司阿里巴巴B2B上市公司股票,该价格与2007年底该股票的上市发行价持平。  “阿里,阿里巴巴,阿里巴巴是个快乐的青年”——据说这首歌就是阿里巴巴集团董事局主席兼CEO马云给公司取名“阿里巴巴”的灵感。而他不仅是一个快乐的青年,还确实是一个会出奇招的青年。  对于阿里巴巴的私有化,外界议论纷纷,马云及阿里巴巴又一次站在了风口浪尖。确实
信息通信企业是上市公司中卓尔不群的一类。它们很少分红,却能靠想象空间创造出让传统企业无法望其颈背的高市盈率;它们可以在初创阶段获得投资人的青睐,在上市的同时创造出大量百万富翁,完成传统行业若干年才能完成的财富积累;同时,它们中不乏佼佼者,以高速的增长来向投资人证明自己并非虚有其表,并用不断攀高的股价回报青睐自己的伯乐。  和传统行业相比,信息通信企业与上市之间似乎更加亲密无间。对于富有梦想的创业者
未来,研发设计、生产销售以及服务的各个环节高度集成将成为工业企业的竞争特征。企业内、外部信息资源的整合利用,大数据的充分挖掘和使用,将成为全球化背景下工业化的重要推进策略。为规避外部市场的不确定性,产业链长链条协同将成为工业企业的重要竞争手段。在延伸产品价值链的驱动下,制造业软化与服务化将成为未来的发展趋势。深化信息技术应用、融合创新、模式创新将成为工业企业的战略选择。我们看到例如堆积制造这样的第