英特尔重定义Hadoop核心:优化CPU

原创
服务器 Hadoop
继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入大数据研究以来,首度发布的大数据软件产品,英特尔将以开源分布式数据分析平台Hadoop进军大数据市场

据国外媒体报道,近日,英特尔新推出的Intel版Hadoop不但改写了Hadoop框架的核心功能,强化对处理器指令集的支持来提高效能,可直接支持Xeon进阶运算加密指令集AES-NI,并在数据储存到HBase的过程,用芯片原生的加密功能保护,这是英特尔进军Big Data的杀手锏软件 。

继Cloudera与Hortonworks之后,英特尔近日宣布推出Hadoop新版本,包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner,这是英特尔从2009年开始投入大数据研究以来,首度发布的大数据软件产品,英特尔将以开源分布式数据分析平台Hadoop进军大数据市场。

英特尔Hadoop发行版是以英特尔的硬件为基础,提供Hadoop使用者更安全、更高效、更易部署的数据处理平台,未来英特尔将继续投入Hadoop的研发。

不过,英特尔并不会因此变成一家软件公司。英特尔的策略是打造一个开放的大数据生态环境。目前英特尔版Hadoop的合作伙伴包括OEM厂商、系统整合商、独立软件开发商,负责企业部署,英特尔提供培训。目前已与20多家软硬件厂商计划加入联盟,包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。

英特尔推出的Hadoop专属软件平台,主要包括三个部分,第一是Hadoop平台的管理工具Intel Manager与Intel Active Tuner二是基于Hadoop架构所做的调优,包括HDFS、MapReduce、HBase的重定义改写,同时支持SQL查询指令语言Hive,对于SQL指令的查询速度提升了8.5倍。其三,英特尔的Hadoop架构中,也融入了其他常用的Hadoop工具,例如:Zookeeper等。

重定义Hadoop架构

英特尔重新改写了Hadoop架构,可以直接支持Xeon计算加密指令集AES-NI,提高数据指令周期,并通过芯片原生的加密功能保护数据收集、存储到HBase的过程,并且性能不受加密的影响。

举例来说,采用Xeon E5-2690处理器、搭配英特尔SSD 520快闪硬盘和10GbE网络卡,1TB的数据量处理将可缩短到7分钟。

今年2月底,英特尔正式启动两个Hadoop方面的新项目,其中一个项目是Panthera,着重SQL与Hadoop的整合,另一个项目则是Rhino,研究更深层次的Hadoop应用。 未来,英特尔将会加大对大数据的研究投入,包括商业智能及图形计算分析。

英特尔数据中心与嵌入式系统亚太区产品经理RK Hiremane表示,Hadoop暂时还不是一个成熟市场,但英特尔看好电信业、金融业、政府以及医疗行业的发展潜力。

来自新加坡的英特尔Hadoop合作伙伴1degreenorth指出,当企业开始考虑部署Hadoop时,一定会进行全面的评估,过去只能选择Cloudera与Hortonworks,但是现在多了一个Intel版本,从软件开发商的角度来看,在亚太地区,不论Cloudera或Hortonworks并没有特别投入资源,英特尔则通过系统整合商与独立软件开发商来提供企业相关服务,同时并提供相关的技术支持,这是一个非常重要的竞争力。

目前Hadoop在国内的应用仍处于萌芽阶段,每个客户都是以项目方式进行,英特尔在未来的Hadoop市场能否脱颖而出,关键在于Hadoop系统的软件开发与技术服务能力。因为目前大多数企业并没有足够驾驭Hadoop技术的人才,所以非常注重供应商所提供的Hadoop应用开发与技术服务。现阶段,英特尔虽然通过软件开发商进行战略布局,而这些厂商是否具有相关技术能力,并且全力投入大数据市场,还需要时间证明。

责任编辑:路途 来源: 51CTO
相关推荐

2013-12-19 10:06:18

英特尔Hadoop

2013-12-25 10:31:13

多核英特尔18核心

2023-11-20 13:06:52

2009-07-16 18:45:37

2010-10-26 10:32:06

ARM英特尔CPU

2013-03-07 10:56:03

英特尔HadoopXeon

2013-02-28 10:04:27

英特尔Hadoop大数据

2013-06-16 10:26:42

数据中心英特尔端到端

2014-04-03 14:23:02

英特尔统一固件管理套件

2013-03-13 11:41:12

Hadoop英特尔研发周期

2013-02-28 10:32:07

hadoop英特尔apache

2013-02-18 15:15:32

英特尔大数据Apache

2013-02-27 10:19:35

英特尔大数据Hadoop

2011-03-09 14:19:42

2011-09-30 10:39:01

英特尔CPU市场份额

2011-10-31 09:47:42

英特尔E系列服务器CPU

2021-02-18 07:23:17

CPU英特尔微软

2012-06-25 09:51:57

AMDARM英特尔

2022-03-11 09:43:36

漏洞CPU
点赞
收藏

51CTO技术栈公众号