视机密如粪土 Facebook数据中心信息公开

服务器 数据中心
4月8日上午消息,Facebook表示,将向其他企业公开其新的服务器系统和计算机机房,希望以此推动硬件设计的公开化。

北京时间4月8日上午消息,Facebook今天表示,将向其他企业公开其新的服务器系统和计算机机房,希望以此推动硬件设计的公开化(51CTO推荐阅读:投4.5亿$ Facebook建最高效数据中心(图))。

“非死不可”,一直被模仿,还未被超越

谷歌等许多科技企业将他们的计算基础设施的关键构造视为机密Facebook却表示,将公开其位于美国俄勒冈州普莱恩维尔(Prineville)的一座数据中心的详细技术信息,包括计算机、供电系统、服务器机架、备用电池系统以及架构设计

Facebook此举类似于通过开源软件来促进创新,而此时正值电力和能源消耗逐渐成为很多高科技公司的重要障碍之际。Facebook在加州总部表示,普莱恩维尔的系统比该公司以往的系统节能38%,成本效率也高出24%。

Facebook CEO马克·扎克伯格(Mark Zuckerberg)希望这种名为“开放计算项目”(Open Compute Project)的非常规技术分享计划能够促进整个行业的协作,从而开发最好的数据中心和服务器技术。“通过分享这类信息,我们将提升生态系统的增长效率。”他说。

Facebook表示,通过分享设计,其他企业就能够将重点放在社交网站的应用和开发上。

美国市场研究公司Forrester Research分析师里奇·费凯拉(Rich Fichera)表示,Facebook此举将帮助该公司受益于规模经济,因为其他企业也将部署类似的系统,并订购更多与该设计匹配的零部件和系统。“归根到底,他们的动机是创造一个拥有商务竞争力的科技市场,满足他们的发展需求。”他说。

谷歌、苹果和Twitter目前都在建设庞大的数据中心,以便通过互联网为企业和普通消费者提供计算资源、数据存储能力和软件服务。“我们认为,是时候揭开基础设施这项网络企业最大资本开支的神秘面纱了。”Facebook技术运营副总裁乔纳森·黑里格(Jonathan Heiliger)说。

Facebook的硬件项目合作伙伴包括英特尔、AMD、戴尔和惠普。

惠普行业标准服务器和软件业务首席技术官格雷格·哈弗(Greg Huff)说:“拥有庞大计算需求的企业仍将寻找创新技术,以便突破当今的障碍。”

戴尔服务器平台副总裁佛雷斯特·诺罗德(Forrester Norrod)表示,他的公司已经根据Facebook的新设计为一些企业提供了部分系统。“这意味着你将拥有一个开放的创新平台。”他说。

Facebook此举将对其他网络巨头构成压力,他们正在很多技术问题上与Facebook争夺“开放性”。谷歌发言人说:“我们仍在熟悉这个项目,但总体而言,我们会支持那些能够推动最佳措施,并方便企业部署节能设计的计划。”

#p#

Facebook基础设施有多大?

Facebook目前是世界上最受欢迎的网站。根据GoogleDoubleClick服务提供的数据显示,Facebook每月的页面浏览量超过了6900亿;根据HitWise的统计数据显示,Facebook的流量占整个互联网流量的9.5%,比Google略多。

Facebook需要大量的存储基础设施存储海量的照片,每天新增的照片数量大约是100万张,每个月人们在Facebook上分享的内容条数超过了300亿。此外,Facebook的基础设施还必须为100万个网站和55万个使用Facebook连接平台的应用程序提供平台支撑服务。

为支撑起这一庞大的活动,Facebook仅在美国东海洋至少租用了9个数据中心,而目前Facebook正在俄勒冈建造自己的第一个数据中心。虽然70%的Facebook用户来自其它国家,但Facebook尚未在美国以外设立或租用数据中心。

在Facebook的历史上,它历来都是从第三方“批发”数据中心基础设施。第三方批发商建设数据中心包括高架地板空间、电力和制冷基础设施,然后将整个数据中心租给Facebook。通过这种批发模式,Facebook可以在5个月内就入驻数据中心(如果要自己建造至少需要12个月),这才使Facebook可以迅速跟上用户增长的速度。

2010年1月,Facebook宣布计划建立自己的数据中心,地点选择在俄勒冈的普里恩维尔。建立自己的数据中心需要买地,然后修一座大型建筑,前期投资巨大,但这也给Facebook提供了更多的自主控制权,如可以定制电力和制冷基础设施。#p#

Facebook的数据中心位置在哪里?

Facebook目前在硅谷租赁的数据中心至少有6个,位于圣克拉拉和圣何塞,在旧金山也至少有1个,此外在弗吉尼亚的阿什佛还批发了3个数据中心。其中,圣克拉拉和阿什佛的数据中心是Facebook的中枢,全部使用光纤连接,因此成为Facebook的首选。

Facebook在俄勒冈普里恩维尔的数据中心也即将完工。如果Facebook继续按目前的增长速度发展,可能还需要建设更大型的数据中心,比如Google、微软、雅虎和eBay就建设了多个数据中心。#p#

Facebook的服务器农场(ServerFarms)有多大?

[[21226]]

图1Facebook位于俄勒冈普里恩维尔的数据中心鸟瞰图

随着Facebook的增长,其数据中心需求也一起增长,在俄勒冈自建数据中心是这一趋势的写照。在它目前运营的数据中心,Facebook要租赁2.25兆瓦到6兆瓦的电力,或1万至3万平方英尺的空间,由于数据中心电力的重要性,大部分数据中心批发商现在都用优惠的电价招揽客户,并用兆瓦取代了平方英尺作为交易的主要标准(51CTO推荐阅读:复杂的1秒 图解Google搜索技术)。

Facebook在俄勒冈建设的数据中心比他租赁的数据中心要大得多,最初宣布的建设面积是14.7万平方英尺,但随着建设的进行,Facebook又宣布要追加二期建设项目,二期将会再增加16万平方英尺,因此在普里恩维尔的数据中心总面积将会达到30.7万平方英尺。具体有多大呢?打个形象点的比喻,有两个沃尔玛超市那么大。#p#

Facebook有多少服务器?

图2Facebook服务器增速趋势

这个图形象地再现了Facebook基础设施的增长趋势,它记录了Facebook服务器电力消耗的数量。Facebook技术运营副总裁JonathanHeiliger说:“在Facebook用户数较少时我们没有记录这些数据,因为那时整个服务就运行在一台服务器上”。

但现在情况已经发生了巨大的变化。由Facebook员工做的一个技术演示表明,截至2010年6月,Facebook至少有6万台服务器时刻保持运行,而2008年4月的统计数据表明才1万台,即使是2009年也才3万台,其增速非常惊人。

虽然现在Facebook的服务器数量已经非常多了,但6万这个数字并没有包含在建的俄勒冈数据中心的服务器数目,因此可以预见,等2011年俄勒冈数据中心开放后,Facebook的服务器数量可能会接近10万。#p#

Facebook使用的是什么服务器?

Facebook不喜欢透露它选择的服务器厂商。Facebook在2007年曾经在Rackabie(现在属于SGI)购买过大量服务器,另外已知的还有很多戴尔服务器,戴尔为大型云计算客户提供服务器定制服务。

Facebook技术运营副总裁JonathanHeiliger是选择服务器的关键人物,他一向要求服务器满足Facebook特殊基础设施的需要。而那些针对企业计算需求的功能并不是他想要的,实施服务器定制能为这个具有“小互联网”之称的公司带来更好的经济效益。

在今年早些时候的一次会议中,Herliger将多核服务器厂商Tilera和SeaMicro列为公司关注的重点对象,这两家公司的产品在能源利用效率方面做得非常出色;但也有报道指出Facebook计划使用低功耗的ARM处理器。我们知道ARM处理器大量用在iPhone和移动设备上,但最后Facebook亲自辟谣说报道不实。Heiliger说:“Facebook一直在不断评估,并帮助开发提高基础设施性能,效率和可靠性的新技术,但我们在俄勒冈的数据中心还没有打算使用ARM服务器”。

图3一Facebook数据中心服务器机柜阵列

#p#

Facebook使用了什么软件?

Facebook使用了大量的开源软件,网站主要是用PHP写的,后台数据库主要是MySQL。为了使网站访问更快速,Facebook工程团队开发了一个名叫HipHop的程序,它能将PHP源代码转换成C++,从而获得更好的性能。

Facebook拥有世界上最大的MySQL数据库集群,也是开源缓存系统memcached全球最大的用户。memcached是Facebook基础设施的一个重要组成部分,CEO马克•扎克伯格在2009年曾对其做过一次技术演讲。

Facebook还构建了一个使用RPC(远程过程调用)的框架,可以将任何语言实现的基础设施服务连接到一起,并可以支持任何平台。Facebook基础设施使用的服务包括Apache,Hadoop,ApacheCassandra,ApacheHive,FlashCache,Scribe,Tomado,Cfengine和Varnish。#p#

Facebook数据中心花了多少钱?

一项分析报告表明,Facebook现在花在租赁数据中心上的钱大约是5000万美元,而2009年的分析报告显示才2000万美元。

而这5000万美元只包含数据中心的租金,不包括俄勒冈数据中心项目的建设成本,而该项目的建设成本估计在1.8-2.15亿美元之间,同样也不包括Facebook在服务器和存储等硬件设备上的投入。
Facebook现在租用的数据中心主要来自四家公司,他们分别是:DigitalRealtyTrust,DuPontFabrosTechnology,FortuneDataCenters和CoreSiteRealty。

下面是我们所知道的Facebook用在数据中心上的主要开支

根据landlord6月30日给投资者分发的一份报告显示,Facebook每年要向位于硅谷和弗吉尼亚的DigitalRealtyTrust(DLR)交纳1810万美元的数据中心空间租金,租用的面积是13.5万平方英尺。

Facebook也在弗吉尼亚的阿什佛租用了DuPontFabrosTechnology(DFT)的数据中心,虽然双方都没有公布租赁的详细信息,但有数据表明Facebook的租金占了该公司年租金的15%之多,它每年的租金收入大约是2180万美元。

据报道,Facebook在圣何塞Fortune数据中心租用了5兆瓦关键负载,大约2.5万平方英尺的高架地板空间。

今年3月,Facebook租用了圣克拉拉CoreSiteRealty刚刚竣工的数据中心,租用面积是5万平方英尺。

Facebook在加利福利亚的圣克拉拉也租有数据中心,“房东”是TerremarkWorldwide(TMRK),另外还从Equinix(EQIX)租用了数据中心,其规模要比从DigitalRealty和DuPontFabros租用的空间要小得多。

光DigitalRealty和DuPontFabros两家的租金加起来就有4000万美元,加上其它公司的租金,我们估计Facebook每年在数据中心上花费的成本会超过5000万美元。

和其它大型云计算供应商在数据中心上的成本相比,Facebook的开支相对低得多。Google 2008年在数据中心上的开销是23亿美元,微软在每个新建数据中心上的投资是5亿美元。当然,Google和微软的投资包括了数据中心和服务器的费用。#p#

有多少人参与Facebook数据中心运营?

如同大多数大型数据中心一样,Facebook的数据中心也实现了高度自动化,每个数据中心需要的运营人员在20-50名之间。Facebook创造了每1位工程师维护100万用户的历史记录,而最近他们又将这一记录提升到了1:120万的高度。

Facebook在普里恩维尔的建设项目预计在12个月的施工期间创造了200个工作岗位,最终至少会雇佣35名全职员工,还会有数十名兼职及合同工。#p#

Facebook数据中心的能源效率如何?

 

图4Facebook优化的配电方案

Facebook表示普里恩维尔数据中心将采用LEED(LeadershipinEnergyandEnvironmentalDesign,能源与环境设计认证)黄金标准设计(LEED是一个由美国绿色建筑协会节能建筑的自愿监督评价制度)。普里恩维尔数据中心的电源使用效率(PUE)评级预计会达到1.15,PUE是衡量IT设备电源使用效率的主要指标,它能揭示电力在输送和转换过程中的损耗,目前数据中心PUE的平均值是2.0,相当于IT设备只使用了建筑供电的50%,也就是说电源使用率只有1/2(51CTO推荐阅读:省钱 十招改善数据中心电力效率)。

普里恩维尔凉爽的气候令Facebook大部分时间不用开启制冷系统,天然的冷冻水输送给数据中心的制冷系统,但需要大量的电力。随着电力成本成为关注的焦点,许多数据中心正在设计使用户外新鲜冷空气制冷的解决方案,在夏天来临时,普里恩维尔数据中心将采用蒸汽制冷,而不是普通的制冷系统。

Heiliger说:“这个过程的能源利用效率是很高的,它使用户外冷空气最大限度减少对水的消耗”。节约用水也成为数据中心日益重视的一项任务,在某些情况下,可能会给当地带来供水设施的挑战。

数据中心的一个关键功能是为服务器源源不断输送电力,这是Facebook节能的另一个领域,普里恩维尔数据中心将使用新的,正在申请专利的UPS系统,可降低多大20%的用电,新的设计放弃了传统的UPS和PDU,给每台服务器增加了12v的电池。

使用板载电池这一做法首先是Google在其定制服务器上实现的,Google去年展示了一款集成12v电池的定制服务器,Google指出这项设计对提高数据中心的能源使用效率非常关键。
大多数数据中心使用UPS和市电电网提供的交流电,如果市电中断,UPS就充当起大型电池,直到发电机启动可以供电,但这个过程需要将交流电转换成直流电,然后又要再转回交流电给设备供电,每一次转换都有功耗损失,抵达服务器时已经损耗了近半。

最后,普里恩维尔数据中心也会重复使用服务器产生的热量,在冬季可为办公室送热,IBM和Telehouse也在研究这项技术。#p#

Facebook是如何为它的数据中心选址的?

数据中心选址时一个复杂的过程,通常需要考虑的有电力成本,土地成本,光纤网络成本,自然灾害,本地供水和污水处理能力,当地商业环境,国家和当地政府出台的优惠政策等。

多个数据中心之间的连接也是一个考虑因素,Facebook已经在硅谷和弗吉尼亚北部建立了两个数据中心集群,当Facebook决定自己建设数据中心时,在西方多个国家进行了现场考察。

Facebook网站运营主管TomFurlong说:“在经过严格的审查后,Facebook得出的结论是普里恩维尔是最佳的选择,包括冷却环境,可再生电力资源,可利用的土地,气候,劳动力和商业环境都符合Facebook的要求”。#p#

为什么绿色和平组织要批评Facebook?

 

图5要绿色不要烟囱

Facebook的新数据中心已经按照高能源效率设计,它坐落在一个小镇,当地的电力主要是来自一家火电厂,这让Facebook迅速成为环境保护组织攻击的焦点。

2月中旬,国际绿色和平组织呼吁Facebook重新思考其在俄勒冈建设数据中心的计划,并希望它能找到一个完全利用可再生能源的地点。

绿色和平组织在其网站上发布了一份声明称,“鉴于数据中心需要消耗大量的电力,会给当地的火电厂带来越来越大的用电需求。Facebook应率先倡导和利用清洁的可再生能源,而不是依赖于对环境污染很大的煤电”。

Facebook以普里恩维尔数据中心的能源利用效率回答了这个问题,但我们仍然支持绿色和平组织的意见。

Facebook的BarrySchnitt说:“我们选择太平洋电力这是事实,但我们选择这里还有一个原因是它可以降低我们数据中心的碳排放量,如果选择其它地方,我们需要机械式冷水机组,反而会使用更多的能源,并会对整个大环境造成影响,即使当地有更多的可再生能源”。

但绿色和平组织的批评声越来越大,越来越尖锐,甚至直接针对FacebookCEO马克·扎克伯格。#p#

Facebook会对它的数据中心保密吗?

 

图6Facebook数据中心奠基仪式

很多公司根本不会谈论他们的数据中心,甚至不会承认它们的存在,但这种情况已经开始发生变化,一些公司正在寻求更开放的态度,希望人们更深入地了解这些设施。Facebook在普里恩维尔数据中心项目上可以说是走在了最前列。

Facebook和当地官员联合发布了公告,并共享了该项目进展的详细情况,并且保持定期更新,与外界保持密切沟通。举一个例子,Facebook和建筑承包商DPR/Fortis就经常参加当地的各种野餐游园活动。

【编辑推荐】

  1. 投4.5亿$ Facebook建最高效数据中心(图)
  2. 不惧谷歌 Facebook数据中心添丁进口
  3. 不玩“虚”的 Facebook支持微服务器

 

责任编辑:景琦 来源: 新浪科技
相关推荐

2014-12-02 09:29:51

Facebook数据中心运维

2011-10-31 16:21:26

数据中心开放标准Facebook

2015-06-24 09:01:37

Google数据中心网络

2011-05-05 15:35:06

Facebook数据中心方案展示

2011-04-21 16:08:45

Facebook数据中心方案展示

2011-01-06 10:18:27

2011-04-25 10:19:31

2011-04-25 10:41:58

Facebook数据中心温湿

2013-10-10 09:55:28

Facebook数据中心传统厂商

2014-04-16 13:34:19

Facebook数据中心

2010-09-29 09:07:54

2011-12-01 14:32:13

Facebook数据中基础架构

2016-10-08 17:02:37

Facebook数据中心

2011-04-25 10:54:04

Facebook数据中心间接冷却

2011-08-05 09:40:45

Facebook数据中心

2012-10-23 09:44:54

苹果Facebook数据中心

2011-11-09 13:10:50

数据中心选址谷歌Facebook

2012-02-08 11:11:45

Facebook数据中心

2013-11-18 09:55:28

数据中Facebook

2011-12-20 13:42:47

Facebook数据中心北极圈
点赞
收藏

51CTO技术栈公众号