英特尔:将Hadoop“固化”到Xeon中

服务器 Hadoop
对于大数据分析而言,最基础的需求就是对于大量的结构化和非结构化数据,可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目,Hadoop吸引了诸多顶级玩家的加入。

 大数据有多热,Hadoop就有多热。

与AWS在私有云市场动作频仍一样,Hadoop近期热点事件也不少。 Hortonworks提供Hadoop big-data platform for Windows测试版, EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版, HP加入Hadoop并提供安全插件ArcSight。2月26日,在Hadoop无数的商业版和开源版中,同时拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本的Intel 再次爆料:要将Hadoop直接集成到Xeon中。

对于大数据分析而言,最基础的需求就是对于大量的结构化和非结构化数据,可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目,Hadoop吸引了诸多顶级玩家的加入。

以至于,目前市场上Hadoop发行版与开源版种类繁多。其中,不仅有Cloudera、HortonWorks、Amazon的EMR、MapR,也有IBM、Oracle、Microsoft、Intel、EMC等诸多版本的Hadoop。对Intel而言,其拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。前者锁定行业客户,如电信、视频监控、生产制造等,后者核心代码和核心功能与前者相同,区别是支持节点数量和存储容量。此外,Intel还在GitHub维护着Project Panthera开源项目,其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。

 

 

Intel Hadoop发行版

Intel架构部门副总裁Boyd Davis说:“大数据生成很容易,但关键是要用起来。”围绕这一点,EMC和HP本周都有所动作。但Intel所做的更为直接:将Hadoop直接固化到芯片中。“Hadoop架构具有巨大的潜力,其完全可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。”如此,对于IT经理而言,自动配置与评估,调优和管理自然更为简便。

芯片就是Xeon,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。

例如,通过固化Hadoop的Xeon处理器,Intel预计1TB的数据分析可以在7分钟内完成,而采用其他方案,预计将需要4小时以上。

除了使用AES-NI指令集有希望20倍的提升加密速度以外,Intel的Hadoop分布式框架还将通过固态驱动器与缓存加速来实现优化,查询速度将比Hive快8.5倍;Intel Labs通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。

而在安全方面,将提供一个“完整,加密”的Xeon处理器方案,从而使得用户不需求牺牲性能即可实现数据的高安全性。

差不多24个合作伙伴可以帮助Intel将“固化Hadoop的Xeon解决方案”推广到公有云和私有云中,比如Cisco,Dell和SAP。而为了加快部署,Intel还透露,会投资规模较小的大数据公司,如MongoDB和Guavus Anaytics,这样在基于Apache Hadoop的数据分析解决方案方面将更加丰富。

写在最后:

众所周知,Hadoop底层硬件平台多为Intel芯片,如此模式,是否会使Hadoop的竞争更加白热化?!这让译者想到2012年7月一次会议中,中国联通研究院副院长黄文良的介绍:

联通Hadoop系统的后台是178台基于英特尔至强5600处理器的两路刀片服务器,每台服务器配备了14TB存储容量。此外,系统还有3台NameNode节点服务器、入库服务节点服务器24台、Zookeeper节点服务器7台、集群监控节点1台和Web查询应用服务节点20台。这些也都是IA架构的x86服务器。

“我们也试过用Hadoop的开源版本,但是确实在性能上不如英特尔的Hadoop发行版,无论是监控能力还是稳定性都有很大区别。”

责任编辑:路途 来源: ZDNet编译
相关推荐

2013-02-28 10:32:07

hadoop英特尔apache

2012-09-20 09:07:45

英特尔Xeon E5Xeon 5600

2012-09-07 09:51:58

英特尔处理器Xeon Phi

2011-11-02 16:30:20

2012-05-29 10:08:57

至强E5处理器

2010-04-01 09:41:03

Xeon 7500至强7500

2009-03-31 13:42:41

NehalemIntel服务器

2012-11-13 14:15:41

HPC英特尔Xeon Phi

2013-12-19 10:06:18

英特尔Hadoop

2013-02-28 10:04:27

英特尔Hadoop大数据

2013-03-15 17:37:33

Hadoop英特尔CPU

2011-07-08 17:05:20

英特尔E7关键服务器

2013-09-03 18:10:56

英特尔Xeon E5-260数据中心

2010-11-04 10:22:44

云计算英特尔

2014-04-03 14:23:02

英特尔统一固件管理套件

2013-02-27 10:19:35

英特尔大数据Hadoop

2013-03-13 11:41:12

Hadoop英特尔研发周期

2013-02-18 15:15:32

英特尔大数据Apache

2023-11-20 13:06:52

点赞
收藏

51CTO技术栈公众号