基础架构

面对未来,RDMA将挑起大梁

11月8日,首届中国超级算力大会在北京开幕,同时2019亚太区大学生RDMA编程挑战赛也落下帷幕,中国科学技术大学团队获得冠军。

竞赛主题设置结合了当下热门的容器(Container)技术,要求参赛队伍在容器环境中利用RDMA进行HPC应用的优化,对技术实力及团队合作都是相当的考验。

中国科学技术大学的参赛方案是通过容器虚拟化等技术,处理流式计算框架,并且进一步优化性能,最后打包成一键部署形式,利用RDMA技术对其进行加速。参赛方案的理念很有创新性,并且在软件选择与优化方面都表现出色,因此才能让中国科学技术大学在比赛中力拔头筹。

无论是传统的高性能计算应用还是新兴的人工智能应用,RDMA通信方式都是提升分布式计算性能的的关键环节。随着RDMA技术的应用的普及,越来越多的企业将这项技术应用到不同的领域中去,RDMA技术所创造的价值也越来越高,这都极大地推动了市场对于RDMA编程人才的需求。

这也正是大学生RDMA编程挑战赛的意义所在,能够在提升应用性能的同时,为企业培养和发现优秀的RDMA技术人才。

本次比赛也获得了包括中国计算机学会、中国大数据与智能产业联盟、清华大学、华为、商汤、Excelero、E8 Storage、HPCTC、Mellanox、NVIDIA、WekaIO等国内外多家知名机构及明星企业的大力支持。

未来将以数据为中心,让应用驱动应用

Mellanox市场部高级副总裁Gilad Shainer,同时他也是国际高性能计算及人工智能咨询委员会(HPC-AI Advisory Council)主席。一直以来专注于高性能计算、人工智能、大数据和存储等领域的先进技术,以及如何利用高速互连网络来助力于上述应用的性能提升。

据Gilad Shainer介绍,HPC-AI咨询委员会是一家非盈利性国际组织,成立于2008年,拥有400多名成员,致力于HPC-AI技术的教育与推广。我们所关注的全球性年度会议和STEM挑战赛,包括中国大学生RDMA编程竞赛和德国大学生集群竞赛就是由他们来组织的。

此次Gilad Shainer在RDMA论坛上也做了趋势分析与技术分享,Mellanox网络在赋能全球最快的前10台的超级计算机之6台,包括美国、中国和日本最快的超级计算机,Mellanox网络计算技术已成为解决目前HPC和AI超级计算机的性能和扩展性的关键技术。

Gilad Shainer认为,经历了几十年的发展,现如今处理器的计算能力已经无法跟上数据产生的速度,上图中红线表示计算力,绿线表示数据产生速度,二者已经拉开明显差距。

因此,未来有两大趋势需要关注。在过去,所有应用程序都是程序员写出来的,但这显然没法跟上爆炸增长的数据与需求。所以未来需要构建一套框架与算法,然后录入数据,经过训练以后自己“写”出一套新的程序,应用自己构建应用。

另外一个趋势是数据本身成为最重要的资产。从数据中心的角度来看,过去所有的一切都是以CPU为中心,围绕着计算进行“服务”。而现在则将主角变成了数据,所有的软硬件资源包括计算、存储和网络都围绕数据进行“服务”。用户、数据成为企业最重要的资产。

此外,边缘计算也是非常值得关注的技术。未来谁控制了网络,谁就控制了用户和数据。从数据中心到边缘,大量的数据都需要通过网络来进行交换,而终端设备的飞速发展对网络提出了更高要求,随着5G、Wifi的兴起,边缘与数据中心将成为一体,相关的边缘计算也将成为关注的焦点。

新技术推动高性能计算蓬勃发展

其实很长一段时间,在数据中心基础架构层面制约性能的瓶颈都在存储与网络端。因为多核化以后处理器性能得到了数倍的提升,与此同时总线带宽等等的升级也为数据交换拓宽了道路,但早期的存储和网络性能明显跟不上处理器,导致瓶颈出现。近年来随着NVMe、SSD的兴起让存储有了长足的进步,动辄几千万IOPS也不算稀奇,而网络也迎来了25G、100G和200G级别接口,使得数据中心整体性能大幅提升,为诸多新应用提供了便利。

国际高性能计算及人工智能咨询委员会主席

Gilad Shainer

那么,现在硬件的瓶颈又在哪里呢?Gilad Shainer认为,随着应用的快速发展,CPU、存储和网络都在快速的进步。同时,更强的业务需求也会触发更高的性能提升,二者相辅相成。我们看到NVIDIA推出的DGX-2采用16块Tesla V100计算卡并行计算,使用NVSwitch相互连接,1.5TB的系统内存,30TB的NVMe SSD,拥有512GB HBM2显存,能够提供最高达2PFLOPs(2000TPLOPs)的深度计算能力。但这些高密度计算设备却需要多个网络接口才能完成数据交换,因此网络性能似乎又不够用了。所以未来在网络传输方面还有很多更高的需求待探索。

在高性能计算发展过程中,CPU、存储和网络三大部分,如果其中一个发展快了就会抢占更多资源,同时其他部分也会提速追赶,永远在互相赶超之中。

面对未来,RDMA将挑起大梁

我们看到,此次大会从演讲活动到大学生挑战赛的主题都是RDMA,那么RDMA能够给用户带来什么呢?

我们先来了解一下RDMA,它的全称是Remote Direct Memory Access,也就是远程直接数据存取。为了解决网络传输中服务器端数据处理的延迟而产生的。

RDMA通过网络把资料直接传入计算机的内存,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销,因而能解放内存带宽和CPU周期用于改进应用系统性能。

RDMA可以用来把小型服务器连接为一个群集,也可以处理一些高端服务器才能够处理的大型数据库。如果把RDMA 、TOE 以及高带宽以太网络放在一起,这是个相当吸引人的技术。RDMA正在迅速成为高速集群和服务器区域网的一种基本特性。

Gilad Shainer表示,在传统硬件架构中,通讯的传输会占据CPU大概50%的资源消耗,也就是说只有剩下的50%才真正负担起计算的工作。而RDMA所解决的就是这个问题,只需要占用1%的CPU资源就可以完成通讯传输,效率相当惊人。

对于用户来讲,50%的CPU资源占用不仅仅是采购成本的浪费,数据中心里数以万计的服务器资源、能耗以及运维成本都被通讯传输所侵蚀,使用RDMA技术以后,这部分资源得到大幅度释放,并且通讯延迟从10微秒降低到1微秒,效率大大提升。

今年,我们看到在AMD新一代EPYC的带动下迎来了PCIE 4.0。众所周知,上一代PCIE 3.0传输速度984.6MB/s,相比之下PCIE 4.0则达到了1.969GB/s,实现了质的飞跃。对于企业级用户来讲,PCIE 4.0的到来能够让存储性能更加强大,能够让更多加速卡有了用武之地。

然而在Gilad Shainer看来,PCIE 4.0仅仅算得上是一个过渡型技术,因为它的服役期可能只有两年左右,到2021年就会过渡到PCIE 5.0。PCIE本身过渡越来越快,周期也在缩短。

总的来看,在技术方面Mellanox已经有了很多革新,基于EDR和HDR InfiniBand的Mellanox LongReach远距离连接方案和Skyway InfiniBand/以太网网关即将面世。同时,RDMA等相关技术落地与普及情况非常理想,国内外诸多互联网企业都已经部署。通过大学生RDMA编程挑战赛再次创新出了很多新方案,也为企业培养了不少高端技术人才。

未来的一切IT将会围绕数据和通讯传输来构建,诸多的技术挑战还等着我们去一一破解!

(0)

本文由 计算杂谈 作者:云中子 发表,转载请注明来源!

关键词:, , , , ,
LensNews

热评文章

发表评论