如何保证人工智能与HPC的成功融合?

服务器 服务器产品
人工智能的发展经历过很有意思的波峰与波谷,虽然目前来看,人工智能得到了很大的释放,价值也在各种探讨中正在一步步落地。而在联想首席科学家祝明发看来:人工智能其实远远没有20世纪50年代来得猛烈。

人工智能的发展经历过很有意思的波峰与波谷,虽然目前来看,人工智能得到了很大的释放,价值也在各种探讨中正在一步步落地。而在联想首席科学家祝明发看来:人工智能其实远远没有20世纪50年代来得猛烈。

20世纪50年代人工智能研究曾达到过一个高潮,设想比现在还要大胆。大家甚至担忧过未来人工智能的发展将非常恐怖,很多年后世界会是机器人的世界,机器人将统治这个世界。当然这样大胆的设想并没有实现,因为人工智能作为一个学科来说,是从机器推理开始取得的进展,通过搜索取得的进展都和人工神经网络深度学习取得的进展相关。

[[196260]]

我们看到,人工智能正在与各种行业应用越来越紧密结合,而这,也正是当前人工智能与20世纪50年代人工智能研究的本质区别。

HPC----高性能计算,是各种科学研究、气象测算、海洋勘探的必备辅助,没有HPC,很多科学研究将无法开展。怎样才能保证人工智能与HPC的成功融合?

未来HPC的三大纬度

中国科学院计算所所长孙凝晖认为,高性能计算未来将向三个纬度发展,即:算得快、算得多和算得稳。

首先,传统HPC的要求便是算得快,中国高性能计算的发展,已从1P到100P到1000P甚至1亿P的发展,计算算力要求无止境,这是永远的纬度。

其次,还要算得多,包括以下两个层次:首先是数据多,比如互联网的数据非常大,主要靠数据采集和处理来获得收益;再如传统计算密集的石油勘探领域数据量也已经达到了几十P的量;再如中国科学院也正在产生的大量数据,中国科学院正在制定新的发展规划,国家投入建设了上海、合肥和怀柔三个科学中心,这三个大型科学中心将配备最顶级的科学装置,不仅是传统的天文望远镜,还有生物领域观察的设备,对地球观察的设备,对物质科学的观察设备等等。这些大的科学装置都会产生大量的数据。第二个层次是如何解决数据的传输、移动和高效计算的问题,这将比纯粹的计算更加重要。因此,AI在高性能计算领域的应用,虽然需要GPU很强的计算能力,但其核心还是要解决数据处理的问题,把数据处理好才能产生更大的智能。因此,让计算机如何算得多,算得更加好,是第二个非常重要的发展方向。

第三,算得稳,云计算和物联网发展的应用特征,需要计算用户质量能更好地得到保障,物联网应用,智能汽车等对延迟的要求更加苛刻,因此,计算的负载保证用户任务完成时间上要求更稳定的供给,如何在计算负载剧烈变化,负载类型多样的情况下,保证资源利用率,保证用户体验的稳定,算得稳也将是高性能计算非常重要的发展方向。

算得快、算得多和算得稳这三个纬度把高性能计算空间撑得更大,未来的科学研究还是企业运用出将会有更大的发展空间。

AI成功的四大要素

显而易见,计算、算法和数据是人工智能的三大基础。如何保证AI的成功呢?联想集团副总裁、企业服务云计算研究室、无线研究实验室黄莹博士认为:AI成功需要满足四大要素,称之为ABCD。

A是算法上的创新;

B是商业方面要有定向,即怎么样才能够应用好;

C是计算力,也就是如何将GPU、CPU、TPU进行更好的结合;

D是数据,即怎么样才能把数据更好处理好等等。

因此,AI的成功因素之一是算法,算法是很重要的一个方面,从AlphaGo上也可以看到算法的重要。目前,计算engine上,Nvidia、TensorFlow、Caffe、Torch等比较领先。

第二,进行大数据处理。未来数据量将越来越庞大,需要对大数据进行很好的处理。

第三是计算力,怎么样能够在TPU、GPU和FPGA等加速器上进行组合则是HPC专家的研究重点。因为GPU或者TPU或者FPGA不完全跟上和算法完全匹配时,要靠人做很多的调优才能把GPU集群真正用好,这其中会面对极大的挑战。以谷歌做翻译训练为例,一般的训练要在12台带8个GPU的机器上算一周,但如果没有这么好的集群,只能在一台带8个GPU上训练需要计算三个月;如果只有一个GPU的机器则需要算两年。因此,很多这种研究需要AI专家、分布式计算专家、网络、存储工程师等一群专家在一起工作。这种深度学习的训练便导致了AI鸿沟,因为一般企业和一般的研究所没有这么多专家在一起做这样的事情。

基于上述思考,联想推出了HPC+AI智能超算平台LiCO,LiCO是提供强大计算力的最佳平台,在HPC软硬件平台上整合支撑了各种深度学习应用,并融合了主流的人工智能框架。

联想HPC的AI创新

联想是全球领先的HPC厂商,联想于2001年成立了高性能服务器事业部,开始了在HPC领域的探索。而在刚刚结束的ISC 2017上,联想以91套高性能计算系统入围全球HPC TOP500份额榜,连续三年获得中国第一,继续蝉联全球第二。

在产品和技术上,联想也正在步入世界先进行列,联想的x86服务器产品性能和品质全世界上共知,物理机计算节点可靠性有着很好的口碑。联想独创了45摄氏度温水水冷技术,相比传统的空气冷却,最高可降低40%的能耗,比其他厂商的水冷技术能耗也低了近20%。通过联想水冷能够使得数据中心的PUE值降低到1.1,这远低于1.8-2.0的业界平均水平,能帮助客户大大节省整体投资,提升AI计算的效能。目前,联想与全球最大的7个数据中心中的6个达成了合作,继续在HPC领域展露锋芒。上一个财年,联想以17%的增长率成为全球增速最快的HPC厂商。

[[196261]]

上图为:联想首席科学家祝明发

联想首席科学家祝明发介绍:联想近日推出的深腾8810集群由联想自主研发,拥有多项HPC和AI的关键技术,包括46项国家发明专利。其搭载的全新HPC+AI智能超算平台LiCO,不仅强化了上一代LiCO的全部功能,更在HPC软硬件平台上整合支撑了各种深度学习应用,融合了谷歌的Tensorflow、脸书的Caffe、微软的MXNET等主流的人工智能框架;另外,LiCO分布式的资源调度系统,可以帮助用户从容应对人脸识别、自然语言处理等各种深度学习训练不断增长的计算需求;其任务模板可以让不同类型的用户,如初学者、专家、数据科学家,都能够快速上手; 而LiCO端到端的解决方案包含数据预处理、训练、参数调整、过程监控、测试等,能让用户能够集中精力在AI算法和业务应用。

在生态联盟方面,联想进一步加强了与各领域合作伙伴的密切联系,打造HPC+AI的完整生态圈。除了在硬件层面继续加深与Intel、NVIDIA、Mellanox等厂商的合作,联想还在软件层面主动开放生态系统,吸引主流软件厂商例如Redhat加入联盟。同时,联想创投还不断发掘应用层面具有潜力的科技创新公司,投资了Face++、银河水滴科技等,以更快的速度抢占AI的制高点。另外,联想与科大讯飞、滴滴出行、今日头条等人工智能领先公司在系统与应用方面的深入紧密合作,也能帮助客户在语音、图像、视频、搜索、网络等方面取得几何数量级的应用性能提升。

采访小记

无论如何,我们都正在进入一个人工智能研究及应用创新集中爆发的时代,我们不再像20世纪50年代一样担忧人类将会被机器人统治,我们更愿意用人工智能与应用结合,让这个世界变得更美好。当然,人工智能也只有在强大计算力的支持下,通过和成熟的算法、大数据相结合,才能真正做到改变。

责任编辑:武晓燕 来源: 企业网D1Net
相关推荐

2021-04-02 14:43:35

人工智能

2018-04-12 16:58:15

大数据人工智能云计算

2021-04-02 14:31:59

人工智能

2023-06-30 11:55:09

人工智能机器学习

2018-04-15 10:00:29

大数据 AI 云计算

2023-05-11 11:36:26

2020-03-25 09:51:55

人工智能技术机器

2023-08-18 10:24:07

人工智能AI

2021-11-10 14:48:54

人工智能AI教育

2017-05-27 14:55:41

人工智能软件架构

2023-06-05 16:39:30

2020-10-29 10:27:29

人工智能技术数据

2022-06-20 14:52:36

人工智能ROI

2021-12-27 16:06:20

人工智能香水嗅觉

2018-06-07 15:22:58

人工智能大数据比较

2024-01-08 07:46:20

人工智能敏感信息数据收集

2023-09-20 16:28:02

2020-11-21 19:12:52

人工智能机器学习技术

2023-10-20 09:42:43

人工智能元宇宙

2022-09-21 11:41:27

人工智能AI
点赞
收藏

51CTO技术栈公众号