“龙芯”刀片服务器内部详解(多图)

服务器
本文主要揭秘本次发布的龙芯刀片服务器CB50-A,以第一手的资料为您从实物细节,内部逻辑,以及所承载的应用三个方面做全面的解读。

以自主研发为看点的曙光“龙芯”刀片服务器于4月23日正式发布,标志着我国国产服务器全线自主化和国产化终于实现。本文主要揭秘本次发布的龙芯刀片服务器CB50-A,以***手的资料为您从实物细节,内部逻辑,以及所承载的应用三个方面做全面的解读。



从路线图上来看,CB50-A是探路先锋,2010年第三季度才是龙芯服务器的井喷期

龙芯刀片服务器产品不仅具有独立的自主知识产权,还具有安全、绿色、高效节能等特性,具有其通用性使得龙芯可以无缝平滑的运行x86架构Linux系统上的应用程序。其中,曙光公司主要负责了龙芯刀片服务器主板设计,CPU采用了龙芯公司的LoongSon 3A CPU,BIOS系统则采用了曙光公司基于PMON二次开发的龙芯BIOS,运行着红旗Redflag Linux,是一款包括基础架构、通用处理器和操纵系统软件在内的完全自主知识产权的服务器产品。

 

曙光CB50-A计算刀片技术参数(IT168服务器频道 整理)
指标 说明
CPU特性 双路Loongson3A
主频1GHz 原生四核
2个HT1.0 16 位总线
DDR2/3内存控制器
内存  8 DIMMs,最多64GB DDR2 SDRAM内存
网络  集成2千兆以太网卡
硬盘  2块2.5” 热插拔SATA硬盘
I/O 2 PCIE 8X
分别支持IOE的Infiniband模块
4 USB 2.0 
管理系统 Gridview DMC管理系统
BIOS 曙光龙芯BIOS
操作系统 红旗linux
功耗 单板功耗最多不超过110W

下面我们来对照实物,解读龙芯刀片服务器的各个组件:

#p#

实物拆解:揭秘龙芯刀片服务器内部结构

从众多媒体的关注度来看,此次龙芯刀片服务器的发布意义非常。那么,抛开战略层面的意义不谈,其产品究竟如何,我们就现场展示的实物来细细拆解:

首先是龙芯刀片CB-50A的机箱,乍看起来很眼熟,原来是曙光TC2600刀片服务器机箱(熟悉的朋友知道,著名的超级计算机“魔方”曙光5000A,采用的就是TC2600刀片机箱)

从规格上看,TC2600刀片机箱是典型的7U规格,能插入10个计算刀片,打造之初是为了支持双路/四路AMD皓龙处理器。由于使用了模块化设计,因而其后面的网络模块、管理模块可以按需求变更。与上图不同的是,我们可以从机箱事务上看到,CB-50A龙芯刀片前面板有着独特的设计——两个2.5寸硬盘位,一个VGA输出插槽,两个USB2.0接口。下面是这款刀片的鸟瞰:

从上图我们可以看到,CB-50A左下角是两个2.5寸硬盘位,右下和中间偏左分布着两路CPU模块——包括龙芯3A处理器和四个内存插槽——我们后面会介绍局部细节。中间右边到最上面的三个散热片下面分别覆盖着北桥AMD RS780E芯片和南桥AMD SB710,还有一个不得而知。

龙芯3A内部集成了两个DDR2 / DDR3内存控制器,因此可以看出CB-50A采用了双通道内存设计,单颗龙芯3A处理器支持四根DIMMs。更多内容请见后页对于CB-50A系统设计的相关解析。

说完刀片内部(更多详细阐述请见后页),我们来看看承载CB-50A刀片的TC2600的部件:首先是中板——它负责连接十个刀片与后部I/O模块、电源模块、管理模块等。

这是集成了十个PCI-E插槽的I/O插板,CB-50A刀片服务器采用了RS780E北桥接口,提供了一条x8速的PCI-E用作对外的I/O扩展。

非常有名的Infiniband交换模块,其规格有DDR和QDR两种。这里展示的是带宽相对较少的DDR模块,其速率可达20Gbps,如果更换速度更高的QDR交换模块, 速率可达40Gbps。


pass-through(直通)模块,用以配合infiniband网络交换模块,降低其延迟并提供灵活的加速传输性能


千兆网络交换模块

管理模块,较上一代有较大改进,并不是单纯的KVM系统,管理系统不再是简单的被动监视系统状态,而是智能的根据实时功耗,确定工作的电源数,使电源工作在***效率曲线上,并且在调整任务的时候,利用事件寄存器自动计算每个任务的功耗,并进行转移,从而真正意义上实现智能的数据中心管理。


电源模块,每个TC2600拥有6组

#p#

CB-50A龙芯刀片服务器内部设计结构详解

下图是过去的一年中,龙芯刀片服务器从研发到完成产品的过程。经历了短短1年的时间,龙芯刀片服务器CB-50A就研发成功,着实让人惊叹,但事实上基于龙芯处理器的产品规划和技术积累早就开始了。

例如CB-50A龙芯刀片服务器使用的龙芯3A处理器,采用65nm工艺制程,原生四核架构,主频1GHz,内含两条HT超传输总线和两个DDR2/3内存控制器,架构上不输于任何主流的x86架构处理器。


龙芯3A四核处理器

从上图,可以看到Core0~Core3四个原生处理器内核,以及Scache0~Scache3四个二级缓存,两条HT1.0超传输总线(姑且先按AMD的说法这么翻译),Xbar1~Xbar2是龙芯3出彩的地方——可以将之看作是与PCI-E、北桥沟通的控制器,笔者认为其一负责HT总线的调度,另一个负责L2缓存以及MC——这比L3级缓存效率要高(实际上还需要看应用);两组DDR2/3内存控制器。可以看出,龙芯3A处理器吸收了很多Intel和AMD处理器的设计特点。既然是设计结构详解,下面我们就来展示一下

CB-50A系统原理图和PCB线路图


CB-50A龙芯刀片服务器的原理图

我们细看局部,首先是处理器部分,见下图。可以发现,两个龙芯3A处理器以一主一从的关系布置于系统中(上面的是从属,下面的是主处理器)。这有点类似于协处理器的布置,两个处理器通过HT-0超传输总线进行互联通讯,而左侧的两个红框部分标出的是龙芯3A处理器的双通道内存——由于龙芯3A有两个内存控制器,因此每个处理器可以控制两组双通道内存,即4个DIMMs插槽。

在这张图中,笔者发现只有主处理器(Primary)通过HT-1超传输总线连接至北桥,因此可以推测从处理器的HT-1被屏蔽了,没有启用——可能是设计复杂度的问题,也可能是双路刀片的定位,其I/O瓶颈并不出现在CPU与外部的通讯。这种做法有点像AMD刚刚发布的12核心“马尼库尔”处理器,同样该处理器屏蔽了其中一个“6核die”的一条HT总线:


马尼库尔屏蔽了slave从属内核的HT-port3这条超传输总线,原因大致与上面的推测相同

以下的结构就很常规了,CB-50A采用了AMD公司的北桥和南桥芯片,其中RS780E北桥芯片以低功耗特性普遍被应用在嵌入式和小型高清主板上(因为其集成了HD3200 GPU核心),而与之搭配的南桥SB710则为系统提供了丰富的I/O接口。也因此,我们可以看到在龙芯刀片服务器的前面板上有视频输出的D-SUB接口(VGA)。从规格来看,该芯片组还支持HDMI的高清输出,这也与龙芯系列产品未来面向消费电子领域推出“高清播放机”的策略相吻合。实际上,CB-50A因为是面向科学计算的高性能刀片,因此众多PCI-E总线被统一起来用作连接背板Infiniband、管理模块和千兆网络模块的通道(VHDM通道)。

主要的芯片和结构讲到这里,其他细节碍于篇幅不在这里赘述(有兴趣的朋友可以找来相关芯片的定义对照,自行领悟)。下面独家放出一张CB-50A龙芯刀片服务器的PCB设计图:


CB-50A龙芯刀片服务器PCB电路板(点击看大图)

下面我们看看CB-50A具体能跑哪些应用。

#p#

CB-50A龙芯刀片服务器应用实例图解

作为刀片服务器,CB-50A龙芯刀片不可避免的会在未来承担起国内高性能计算领域的生力军。笔者归纳了龙芯刀片服务器目前已经可以顺利部署运行的相关HPC应用:

据曙光公司总裁历军先生表示,目前龙芯刀片服务器已经可以很好的运行以上这些HPC典型应用。而未来,龙芯服务器将面向中高低端三个方面推出自己的产品,届时将有更多的应用可以再国产CPU的服务器上部署,不论是安全性还是性价比都是一次长足的飞跃。

#p#

基于龙芯处理器的曙光服务器产品预报

从龙芯产品的路线图可以看出,本次发布的双路SMP龙芯刀片服务器的产品寿命预计为4年,即:龙芯刀片诞生(2010年)-> 步入市场(2010年) -> 用户接受发展(2011年~2012年) -> 销售量减少(性能更强多下一代龙芯刀片诞生)(2013年) ->淘汰(下一代龙芯刀片推出)(2014年)。而未来曙光将会推出基于龙芯处理器的Twins高密度刀片,双路和Twins机架服务器等,2010年底至2011年初则会推出四路SMP刀片和四路SMP机架服务器,还有为特殊单位定制的保密服务器等。


龙芯产品的路线图


机架服务器自然是市场上的主力军,龙芯产品将覆盖所有常见机架类型(甚至包括twins机架高密度服务器)


2008年曙光发布了个人高性能计算机PHPC100,近期将发布采用了20个龙芯四核处理器的曙光PHPC200,能效比更上一层楼


早在曙光5000A发布之初,我们就知道下一代曙光6000超级计算机将部分采用龙芯刀片,相信采用龙芯处理器的高性能计算集群会很快进入我们的视野,毕竟这才是国产龙芯处理器的强势领域


龙芯二号推广之初就是以防火墙产品面市的。实际上,由于龙芯完全自主研发,因此在很多安全领域对龙芯高性能防火墙的要求很强烈,相信未来采用龙芯3A处理器的高性能防火墙会受到国内企业的进一步青睐


自主知识产权,意味着龙芯处理器在国家安全领域、保密领域有着不可替代的优势,保密服务器也将是龙芯的拳头产品。

【编辑推荐】

  1. 揭秘国产"龙芯"服务器系列产品 
  2. 图解天河一号 中国最快的计算机
  3. 龙芯突破 65纳米多核CPU成功诞生

 

责任编辑:景琦 来源: IT168
相关推荐

2010-04-28 13:10:04

龙芯刀片服务器图赏

2010-04-26 10:06:43

龙芯多核刀片服务器

2010-04-16 10:07:28

龙芯龙芯刀片服务器

2010-04-13 09:43:21

华为服务器IDF大会

2009-03-23 19:16:15

四核服务器刀片服务器

2009-12-16 16:17:17

服务器远程监控系统

2010-05-10 10:29:58

SMP结构龙芯刀片

2011-05-13 10:51:11

曙光刀片服务器云计算

2009-08-02 11:58:49

刀片服务器高计算密度机架式

2011-11-30 16:49:41

惠普

2011-03-02 09:26:39

高性能计算龙芯服务器处理器

2011-11-10 13:05:40

刀片服务器机架服务器采购指南

2010-03-11 09:05:39

4路刀片服务器Intel Nehal

2011-08-29 09:23:17

刀片服务器

2010-04-12 15:00:01

5600刀片服务器

2012-09-27 09:08:55

刀片服务器服务器模块化

2012-08-24 09:25:21

服务器虚拟化刀片服务器

2020-11-24 13:47:56

服务器

2010-08-05 09:20:06

IBM刀片服务器

2013-07-25 09:56:07

谷歌水冷服务器数据中心
点赞
收藏

51CTO技术栈公众号