推土机+开普勒:海图尽览超级计算机“泰坦”

服务器 服务器产品
ORNL是美国能源部委托UT-Battelle公司管理的一个国家级核心科技研究基地,超级计算机只是他们的一个工具而已。上一代的“美洲虎”(Jaguar)建成于2005年,之后每年都在进行升级,泰坦则是一次超大规模的更新换代。

2010年底,我们曾经亲身走进天津的国家超级计算中心,目睹了当时世界第一超算天河一号A的风采。世事变迁,性能堪比至少五个天河一号A的“泰坦”(Titan)又在美国的橡树岭国家实验室(ORNL)里屹立起来。接下来,我们就跟随国外记者的脚步,一同去探秘这个新的全球超算No.1。(友情提醒:图灰常灰常多哟……)

【从美洲虎到泰坦】

ORNL是美国能源部委托UT-Battelle公司管理的一个国家级核心科技研究基地,超级计算机只是他们的一个工具而已。上一代的“美洲虎”(Jaguar)建成于2005年,之后每年都在进行升级,泰坦则是一次超大规模的更新换代。

 

冲击世界第一!深入探访超级计算机“泰坦”

 

泰坦还是200个定制的19英寸机柜和18688个计算节点,但已经更换为最新的Cray XK7计算系统,内部配置也大为不同:登陆与IO节点翻番为512个;处理器还是AMD Opteron,但是从12核心变为16核心,总的核心数量从224256个增加到299008个;每颗处理器搭配开普勒架构的NVIDIA Tesla K20高性能计算卡,总计18688个GPU;系统内存每个节点原来是16GB,现在不但翻番为32GB,还有6GB GDDR5显存,总量从300TB增至710TB;硬盘是一万块标准的1TB 7200转2.5寸机械盘,总容量10PB,下次升级会增加到20-30PB。升级替换下来的老硬件照例都交还给Cray。

单单是CPU、GPU加在一起,整套系统就有177万亿个晶体管!

由于超算的大部分工作都是远程执行的,泰坦内部还有几十个10Gbps以太网链接,还接入了能源部能源科学网络(ESNET)的100Gbps骨干网内。

而在峰值浮点性能方面,美洲虎“只有”2.3PFlops,泰坦猛增了几乎十倍,超过20PFlops,也就是每秒钟可进行2亿亿次计算。

全速运行的时候,它需要消耗900万瓦特电力,典型负载下也要700万瓦特,而这也是唯一限制它扩充的地方。为了减少供电线厚度,电压是很高的480V而不是当地标准的208V。

 

冲击世界第一!深入探访超级计算机“泰坦”

 

泰坦的升级工作已经按时基本完成,并且立即就能投入科学计算工作,而且得益于Tesla计算卡的加盟,大量科学应用可以提速4-8倍。

至于泰坦是不是能够成功拿下第一,要到半个月后的新一届超算大会SC12上才会知晓,但就目前看来,已经是十拿九稳的了。

 

[[96805]]

#p#

【走进橡树岭国家实验室】

 

[[101815]]
外观朴实的美国橡树岭国家实验室大楼

 

[[101816]]
访客中心

 

[[101817]]
这里允许随便拍照

 

[[101818]]
整个国家实验室的项目非常多,比如高通量同位素堆

 

[[101819]]
以及散裂中子源——当然外人是进不去的

 

[[96808]]
推门进入计算科学部

 

冲击世界第一!深入探访超级计算机“泰坦”
啥?国家实验室还公开卖珠宝?而且每个只要5美元?

 

[[101821]]
UT-Battelle公司的标识

 

[[101822]]
UT-Battelle公司管理着整个实验室

 

[[101823]]
大楼平面图和部门分布

 

[[101824]]
真的在卖珠宝哎

 

冲击世界第一!深入探访超级计算机“泰坦”
主角就在这个门里

 

冲击世界第一!深入探访超级计算机“泰坦”
美洲虎的痕迹还在

 

[[101825]]
TOP500超算机构的认证证书

 

冲击世界第一!深入探访超级计算机“泰坦”
美洲虎系统两年前全球第三

#p#

【泰坦超级计算机内部探秘】

接下来就是泰坦本身了。看照片为主,必须要的时候我们会注释一下。

 

[[96810]]

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

[[96813]]

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
淘汰下来的费米架构计算卡Tesla M2050

 

冲击世界第一!深入探访超级计算机“泰坦”
旁边是等待上位的开普勒Tesla K20

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
每块板子上安装四颗十六核心Opteron处理器和四块Tesla K20计算卡

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
这下边是Cray定制的互联控制器

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
十六核心Opteron处理器

 

冲击世界第一!深入探访超级计算机“泰坦”
整个超级计算机就是由一个个这样的Cray XK7计算板组成的

 

[[96817]]
拿去装入主机

#p#

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
供电系统

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
节点间的互联线缆错综复杂

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
网络与存储连接

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
风冷开关

 

冲击世界第一!深入探访超级计算机“泰坦”
散热系统温度监控:10℃

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

[[96819]]

 

 

冲击世界第一!深入探访超级计算机“泰坦”
这是老的Cray XT5机柜,美洲虎的组成部分

 

冲击世界第一!深入探访超级计算机“泰坦”

 

 

冲击世界第一!深入探访超级计算机“泰坦”
热备份性能测试部分

#p#

冲击世界第一!深入探访超级计算机“泰坦”
存储阵列

冲击世界第一!深入探访超级计算机“泰坦”
基于Lustre的文件系统Spider,总容量10PB

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
网络部分

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
壮观的电话线

冲击世界第一!深入探访超级计算机“泰坦”
控制室,全天候值守

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
大量政府官员签名的一个老机柜
 

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
因为机房内噪音巨大,需要带上耳塞

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

 

#p#

冲击世界第一!深入探访超级计算机“泰坦”
变压器

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
供电线路

冲击世界第一!深入探访超级计算机“泰坦”
NVIDIA的Jonah Alben正在拍照——这可是GK110核心的设计师之一

冲击世界第一!深入探访超级计算机“泰坦”
水冷散热系统

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”
外边的柴油发电机

冲击世界第一!深入探访超级计算机“泰坦”
在泰坦上数据生成的3D视觉模型

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

冲击世界第一!深入探访超级计算机“泰坦”

#p#

【泰坦的组装:跟DIY装机差不多】

也许你想知道如此一套规模宏大的超级计算机系统是怎么组装的,但说出来可能会让你觉得很没意思,跟普通人DIY装机并没什么两样,只不过设备略有不同,同样的工作需要重复N多次而已。

[[96831]]
众人分工执行

[[101911]]
硅脂是这样上的

[[101912]]
无聊的拧螺丝

[[101913]]
还是拧螺丝

冲击世界第一!深入探访超级计算机“泰坦”
一堆堆的Tesla K20,流口水吧

[[101915]]
拆开防静电袋

冲击世界第一!深入探访超级计算机“泰坦”
安装

[[101917]]
测试工作自然是必不可少的

[[101918]]

[[101919]]

冲击世界第一!深入探访超级计算机“泰坦”
组装测试完毕的计算板装入机柜

冲击世界第一!深入探访超级计算机“泰坦”

[[96833]]
外边的图案其实是贴上去的

[[96834]]

[[101924]]

[[101925]]

 

责任编辑:路途 来源: 驱动中心
相关推荐

2012-10-30 13:18:16

CrayAMD泰坦

2010-11-09 10:47:26

AMD推土机Bulldozer

2010-09-02 10:11:37

推土机大蛇

2011-12-26 09:35:23

AMD推土机TurboCore皓龙服务器

2011-04-08 15:27:14

推土机AMD

2010-10-25 10:43:13

AMD推土机

2010-08-31 10:34:59

AMD推土机Turbo Core

2011-03-09 07:10:24

AMD处理器服务器

2011-06-08 09:29:32

AMD推土机负面

2011-03-23 11:07:53

AMD推土机赞比西河

2012-05-02 13:56:30

AMD处理器Opteron

2011-01-21 10:28:00

AMD推土机Bulldozer

2011-03-14 10:47:47

AMD推土机

2012-11-09 09:16:35

NVIDIA开普勒核心

2012-11-13 11:28:29

泰坦TOP500超级计算机

2012-09-11 10:26:11

AMD处理器架构Steamroller

2013-01-25 12:57:46

笔记本

2011-03-03 09:16:35

AMD推土机

2011-11-04 14:27:53

AMD推土机CPU频率

2020-05-19 10:49:10

网络安全恶意软件技术
点赞
收藏

51CTO技术栈公众号