中国领先的IT技术网站
|
|

全面解读DeepLearning11深度学习服务器

如果我们要求使用NVIDIA可能会被告知需要购买特斯拉(Tesla)或Quadro卡。但NVIDIA特别要求服务器原始设备制造商(OEM)不要在服务器中使用他们的GTX卡。当然,这仅仅意味着经销商在交付客户之前安装这些卡。

作者:李佳惠来源:IT168网站|2017-10-31 10:11

Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践


今天展示的可能是大家最为推崇的一种对深度学习的构建。DeepLearning11搭载10个NVIDIA GeForce GTX 1080 Ti 11GB GPU,是Mellanox的 Infiniband系列,外形尺寸是4.5U。该系统与DeepLearning10之间有重要的区别,主要是添加了8个GTX 1080 Ti显卡。 DeepLearning11 采用single-root的设计 ,这种设计已经在深度学习领域中流行起来了。

之前已经有了许多深度学习的构建,很多机器已经投入使用。其中有一些较小的版本,包括之前发布的DeepLearning01和DeepLearning02。它们仅仅是个开端,但DeepLearning11完全不同。现在这个架构已经被世界前十的超大规模深度学习企业所使用。

DeepLearning11:组件

如果我们要求使用NVIDIA可能会被告知需要购买特斯拉(Tesla)或Quadro卡。但NVIDIA特别要求服务器原始设备制造商(OEM)不要在服务器中使用他们的GTX卡。当然,这仅仅意味着经销商在交付客户之前安装这些卡。

该系统采用的是超微的 SYS-4028GR-TR2,它是市场上主流的高GPU密度系统之一。TR2非常重要,因为它是机箱的single root 版本,不同于DeepLearning10的-TR dual root 系统。

DeepLearning11 GTX 1080 Ti Same CPU

与DeepLearning10的构建相似,DeepLearning11具有“隆起”,使系统总体积达到4.5U。你可以从服务器“Humping”趋势在数据中心的部分了解到更多。它使我们能够在自己的系统中也使用NVIDIA GeForce GTX卡。

超微4028GR-TR/ -TR2

我们正在使用Mellanox ConnectX-3 Pro VPI适配器,它既支持40GbE(主实验室网络)也支持56Gbps的 Infiniband(深度学习网络)。尽管已经在使用它,但是使用FDR Infiniband与RDMA在目前来说还是十分受欢迎的。1GbE或是10GbE的网络根本不能足够快地供给这些机器。于是我们在在实验室中安装了一个Intel Omni-Path交换机,这将是该实验室的首个100Gbps结构。

Mellanox ConnectX-3 Pro

在CPU和RAM方面,我们使用了2个Intel Xeon E5-2628L V4 CPU和256GB ECC DDR4 RAM。Intel Xeon E5-2650 V4是这些系统的常见芯片,它们是最低端的主流处理器,支持9.6GT / s QPI的速度。而我们正在使用的是英特尔至强E5-2628L V4 CPU,因为单根设计会赋予另一个重要的优势,将不再只是GPU间的QPI流量。虽然有可能可以使用单个GPU来为系统供电,但是我们仍然使用两种更高的RAM容量——16GB的RDIMM因为比较便宜。这些系统可以承受高达24个DDR4的LRDIMM从而获得大量的内存容量。

对于那些使用NVIDIA nccl库的深度学习者来说,常见的PCIe是非常重要的。这也是许多深入学习的构建不会转换到更高的PCIe数量的原因,它通常是更高的延迟或是更受限制的设计,如AMD EPYC与Infinity Fabric。

系统成本

在成本明细方面,如果使用英特尔E5-2650 V4芯片,这可能是什么样子:

与AWS g2.16大型实例类型相比,总价约16,500美元的投资回收期在90天以内。以下是相关的托管费用。

将DeepLearning11 的10个GPU示例与DeepRearning10的8个GPU进行比较,你可以看到,在整体系统成本方面,大约25%的性能损失较小:

正如人们所想象的那样,添加更多的gpu意味着系统其余部分的开销将有可能超过这些gpu。因此,如果你的应用程序可扩展性比较好,每个系统可能得到10个gpu。

DeepLearning11:环境因素

我们的系统有四个psu,这对于10个 GPU的配置是必要的。为了测试这个,我们让系统运行一个巨大的模型几天,看看有多少功耗被使用。以下是是10个GPU服务器的能耗,看起来就像是PDU运行Tensorflow GAN的工作负载的情况:

从上图可以看到,大约2600W确实是不错。根据模型在训练中的位置,这台机器在3.0 - 3.2kw范围内,持续功率消耗更高,却没有触及到gpu的功率限制。

这个峰值在深度学习领域上,几个星期内使用不同的问题和框架,它的高峰值仍不足4kW。使用4kW作为基础,就可以很容易地计算出这种机器的托管成本。

正如你所看到的,12个月以来,托管成本方面开始缩小硬件成本。但其实,使用的是实际的数据中心实验室的托管费用。将上述与DeepLearning10的8个gpu进行比较,你可以看到添加500W额外计算的影响:

添加额外的gpu与系统成本相比,会增加运营成本,这是与DeepLearning10相比的状况。随后几年,托管成本将会远远超过硬件成本。

DeepLearning11:性能影响

本文最重要的是想要展示从这个新系统中获得了多少性能。1600美元的系统和1.6万美元的系统之间存在很大的差异,因此我们预计其影响也会类似。采集了我们的样本Tensorflow,生成Adversarial Network(GAN)图像训练测试用例,并在单卡上运行,然后进入10个GPU系统,用每天的训练周期来表达结果。这是一个很好的说明如何在系统的购买价格中增加1400美元或更多的例子。

写在最后

正如人们所想象的那样,DeepLearning10和DeepLearning11消耗了大量的功耗。仅仅这两个服务器的平均功率就超过5kW,峰值更高。这对主机有很大的影响,因为在许多机架中增加0.5RU并不重要。大多数的机架其实不能提供25kW +的电源力和冷却能力以满足GPU服务器的需求。

最终,我们希望在实验室中拥有一个重要的Single Root系统,而DeepLearning11及其10个NVIDIA GTX 1080 Ti 11GB GPU则具备这一点。由于我们提倡首先扩大GPU的大小,从每台机器的GPU数量到多台机器,DeepLearning11既是一个伟大的顶级单机,同时也是基于设计可以扩展到多台机器的平台。

【编辑推荐】

  1. 惨遭黑客入侵,一次服务器被黑的应急行动!
  2. 多台服务器同步如何让数据一致
  3. 推荐Java五大微服务器及其代码示例教程
  4. 服务器网卡组(team)技术原理与实践
  5. 说说服务器机房精密空调中干燥剂有什么作用
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

视频课程+更多

热门职位+更多

读 书 +更多

SQL Server 2005数据库管理与应用高手修炼指南

全书分为基础篇、高级篇和应用篇3个部分,共18章,有重点、分层次地讲解SQL Server 2005的基础知识、高级使用技巧和项目应用方法。第1~10...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× CTO训练营(深圳站)