数据中心从10G/40G升级到25G/100G时的几个注意点

服务器 数据中心
服务器接口从10G升级为25G接口带来很多好处,虽然这些好处很诱人,但是仍然有几个方面需要注意。

服务器接口从10G升级为25G接口带来很多好处,比如:

  • 以太网性能是10G接口的2.5倍;
  • 能为服务器的提供更高的端口密度;
  • 更低的每GB数据传输功耗(更省电费);
  • ……

虽然这些好处很诱人,但是仍然有几个方面需要注意:

一、确保理解 25G/100G的含义

以太网接口的传输速率在过去几十年来大体呈线性增长(每10年增长10倍)。大家的台式电脑或笔记本电脑的有线网卡基本是千兆网卡。而在当前的许多数据中心中,服务器的接口是10Gbps(万兆), 交换机间的接口是40Gbps(四万兆),它们中的大多数都在考虑(或者正在)将网络升级到下一代的25G/100G网络(服务器的接口是25Gbps, 交换机间互联的接口是100Gbps)。

一个100Gbps连接可被分接线缆(Break-out Cable)分解为四个通道(每个通道25Gbps),所以100G网络有时被称为25G/100G网络。同理,10G网络有时也被称为10G/40G网络。

1. 10G/40G网络:

(1) Spine交换机和Leaf (TOR)交换机之间链路为40Gbps,

(2) 服务器接口为10Gbps,不同的Leaf交换机提供10G接口的方式及端口密度可能并不一样,

  • 以某Leaf交换机为例,该交换机端口规格为:4810Gbps+640Gbps ,此时Leaf 交换机提供的10G接口是Leaf交换机的原生10G接口:
  • 以某Leaf交换机为例,该交换机端口规格为:3240Gbps,此时该Leaf 交换机提供的10G接口是其原生的40G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下,能提供(32-6)4=104个10G端口):

2. 25G/100G网络:

(1) Spine交换机和Leaf 交换机之间链路为100Gbps

(2) 服务器接口为25Gbps不同的Leaf交换机提供25G接口的方式及端口密度可能并不一样:

  • 以某Leaf交换机为例,该交换机端口规格为:4825Gbps+6100Gbps ,此时Leaf 交换机提供的25G接口是Leaf交换机的原生25G接口:
  • 以某Leaf交换机为例,该交换机端口规格为:32100Gbps,此时该Leaf 交换机提供的25G接口是其原生的100G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下,能提供(32-6)4=104个25G端口):

 

二、基于业务扩张规模,综合考虑是否需要升级

 

对于一些处于领先地位的企业而言,从当前10/40G网络升级到25/100G是最快速的方法。毕竟从规划、新建到上线一个数据中心所花时间可能要花费好几年。(花费时间过长意味着自身有被竞争对手追上的风险)。世界几大公有云巨头基本都是美国企业,特别注意的是部分领先者为了保持(甚至为了扩大领先优势),即使当时的25G/100G设备、光模块等比今天要贵不少,但它们仍然在几前就逐渐将既有数据中心网络从10/40G升级到25/100G(当然它们同期也新建了一些数据中心)。

出货到亚马逊、谷歌和微软的光模块数量预测

出货到亚马逊、谷歌和微软的光模块数量预测

 

放眼整个光模块市场的出货量,会发现每一种新的光模块刚出现的一两年都不被广泛使用。想想也是,毕竟刚推出的那段时间价格很贵。过去几年,国内25G/100G的应用晚于美国几大OTT的脚步,而且国内25G/100G大多用在新建的数据中心。如今(2018年),国内存量的10G数据中心有不少即将面临网络瓶颈或着IT设备设计寿命, 25G/100G光模块价格比前两年低不少,切换到到25G是个不错的选择(经济+性能提升)。

整个光模块市场的出货量预测

整个光模块市场的出货量预测

三、不一定每台服务器都需要升级

如果您数据中心的一部分服务器的10G网络(或未来一段时间)没有瓶颈,那么将它们网络也升级到25G并不会带来性能提升。这种情况下可以让这些服务器继续使用10G网络,等网络即将成为瓶颈的时候再进行升级。

四、尽量不要采购40Gbps的网卡

过去几年中,40G的服务器网卡出货数量并不多。某电商平台的25G和40G服务器网卡的价格截图如下(不含光模块),可以看到二者价格很接近。

但40G网卡通常并不能充分利用服务器PCIe总线。因为许多服务器带PCIe 3.0 x 8(Gen3 x8)插槽,能提供56Gbps的带宽。将带2个25G的端口的网卡插到56Gbps PCIe插槽,可以使网络到服务器性能获得更高的效率(相对于插一个40G端口的网卡)。

责任编辑:赵宁宁 来源: SDNLAB
相关推荐

2013-07-05 13:41:32

100G测试100G

2018-09-04 08:30:15

数据中心光模块网络架构

2015-12-18 17:26:15

25G50G100G

2019-04-04 11:06:10

数据中心100G200G

2013-07-11 10:23:35

中移动40G100G

2022-07-04 11:08:16

25G50G100G

2016-10-10 20:14:54

数据中心

2013-07-08 16:38:03

100G成本40G

2011-11-18 13:45:35

Force10100G以太网

2014-04-24 13:10:42

DWDM光纤网络

2018-08-24 16:44:26

数据中心

2018-01-14 23:26:20

戴尔

2019-08-05 09:28:36

数据中心以太网光纤

2021-05-31 09:38:21

Linux网卡补丁

2013-11-25 09:36:15

100G超100G

2013-07-24 13:18:20

网络·安全技术周刊

2009-04-24 10:40:13

光传输测试北电

2014-03-14 09:47:01

100G商用100G

2013-05-17 13:14:59

华为VTLWaveNet波分网络

2012-12-13 10:07:10

以太网虚拟化数据中心园区网络
点赞
收藏

51CTO技术栈公众号