大数据时代 数据整合该如何在异构IT环境中进行

原创
服务器
数据的集中整合是目前众多用户大数据之旅首先面对的挑战。随着各行业用户的数据激增,数据类型的多样,如何进行大数据的整合和管理得到更多关注。

忽如一夜春风来,大数据就像时下依然火爆的云计算一样,井喷似的“火”了。难道过去就没有大数据吗?为什么大数据在今天火了?毋庸置疑的是大数据一直存在,只不过它们更多的是尘封在企业的角落里。今天重提大数据,一方面是由于移动互联网和移动智能终端的普及发展,数据信息正以每年40%的速度增长,造成数据量庞大;同时,数据种类呈多样性,文本,图片,视频等结构化和非结构化数据共存;另一方面也要求实时交互性强;最重要的是大数据蕴含了巨大的商业价值。这四方面即说明了大数据的特点,又解释了大数据现在火起来的原因。

从企业角度来讲,现在企业的生存和发展已经不能像过去一样依赖资源消耗,而是需要差异化战略形成竞争优势,无论是产品差异化,还是服务差异化,就是要做到和别人不一样。在这其中,数据信息将发挥举足轻重的作用,企业中的领导希望利用大数据帮助公司获取新客户,减少业务的波动性,寻找新的创新以获取竞争力。与此同时,企业也要面临大数据时代带来的压力和挑战。

数据的集中整合是目前众多用户大数据之旅首先面对的挑战。随着各行业用户的数据激增,数据类型的多样,如何进行大数据的整合和管理得到更多关注。从效益上来看,过去随业务增长而一味增加服务器的做法已经成为用户应用中的一个痛点。企业用户需要通过部署合理的基础架构,集中整合更多服务器、更多工作负载、更多应用程序和更多数据。

IDC助理总裁、行业研究与咨询服务部武连峰认为,支持大数据的IT基础设施要达到5方面的要求:

·易于数据的整合和集中,包括现有IT环境的整合
·易于扩展和伸缩,适应未来巨大变化需求
·易于管理与维护,包括对现有异构环境
·具备极大的可靠性,可控性和安全性
·能够降低总体拥有成本,不仅是软硬件,还包括管理,电力,人力等成本。

那么,当前用户的IT基础架构现状又是怎样的呢?多平台化是企业IT基础架构呈现的现状,用户将关键应用部署在大型主机、Unix平台上,Web应用等一些非关键应用部署在Unix、x86平台上,将关键业务数据和非关键业务数据整合是有效利用大数据的基础。例如,对银行来说,交易数据来自关键应用,而电子商务数据、通话记录,甚至社交媒体上的数据则来自非关键业务,有效地分析利用大数据需要整合不同架构平台的数据,这意味着工作量和成本的巨大的挑战。

数据的不集中,IT基础架构的多平台、异构环境都影响着企业实施大数据建设。在9月19日IBM举行了IBM ELS大数据策略媒体发布会上,IBM给出了一套解决方案。

2010年底,IBM发布了zEnterprise System大型主机服务器,在设计中将IBM zEnterprise大型主机服务器与两大新技术――IBM zEnterprise BladeCenter Extension(zBX)及IBM zEnterprise Unified Resource Manager(统一资源管理器)――相结合,使主机能够跨越管理System z、特定的POWER7和System x服务器异构平台的工作负载,能够帮助客户在z/OS、Linux、AIX和Windows多个环境中畅通无阻地实现IT创新,并被赋予“系统中的系统”的别称。

基于主机架构的企业级Linux服务器(Enterprise Linux Server)专为高吞吐量和大型数据库量身定制,拥有IBM System Z的全部优势。根据测试,ELS可以整合4倍于Unix平台的工作负载,最多能够整合3000台x86服务器,凭借在性能、扩展性、可靠性、安全性、虚拟化能力、绿色节能等全方位的优势,IBM ELS成为适合大数据整合的理想系统平台。特别是针对用户多平台的普遍现状,ELS能够跨平台整合不同来源、结构化和非结构化的数据,使其成为大数据时代大数据整合的利器。

“支持异构架构”减少数据大整合的限制,“灵活扩展”满足大数据的爆炸性成长,依靠“高效性能”快速处理大量数据,以“运行稳定”为基础及时提供关键信息,IBM ELS 满足支持大数据IT基础架构的需要。

诚然,现在有很多互联网企业采用的是分布式,并行处理大数据带来的压力,而且有很多成功的例子,其实选择哪一种方式,完全取决于用户的行业应用和需求,在企业关键业务领域IBM大型主机毕竟发挥着不可替代的作用。而在非关键业务领域,则完全可以采用分布式处理,正如IBM系统与科技部大中华区System Z技术总经理蒋伟东所讲:“结合着使用,达到收益水平***。”

责任编辑:张玉 来源: 51CTO
相关推荐

2015-12-14 17:52:06

ENI经济和信息化网

2015-10-13 10:26:50

AWS云应用整合数据

2017-05-31 14:35:17

大数据运行环境数据管道

2012-08-06 10:42:20

Java

2023-05-26 15:46:23

数据结构布隆过滤器开发

2024-02-07 09:36:40

MySQL数据

2013-01-31 09:04:26

Informatica大数据

2017-10-16 08:07:22

2017-11-13 15:46:07

2014-06-18 10:01:19

CIO

2011-08-01 18:52:26

ActiveDirecOU

2010-01-05 13:47:43

Jquery Json

2010-01-28 10:18:50

Visual StudXML编程

2018-07-23 14:51:22

2013-10-28 09:40:04

2015-04-21 14:21:07

大数据数据分析

2020-12-21 15:39:59

大数据机器学习数据湖

2014-06-06 09:52:42

大数据

2015-09-01 13:58:25

大数据企业

2011-07-05 09:56:02

服务器虚拟化数据存储
点赞
收藏

51CTO技术栈公众号