18项纪录加持，浪潮NF5488A5决战2020 AI计算性能之巅

“18项AI推理性能纪录！包括图像分类、自然语言理解、智能推荐、语音识别等场景。”

在刚刚结束的MLperf推理测试评测中，浪潮NF5488A5闪耀全场，成为MLperf榜单中打破记录最多的AI服务器。它在Resnet50模型推理任务处理达到每秒处理54.9万多张图片；Bert自然语言理解推理任务达26675条/秒；DLRM智能推荐每秒推理处理能力达210万条。

浪潮NF5488A5创造18项MLPerf推理性能记录

凭借强大的性能与软件优化，浪潮NF5488A5在与同样师出名门的20家企业“参赛服务器”测试对比中脱颖而出，获得了训练、推理双料冠军。

等等，为何当今AI这么火？连评测都转成了AI项目测试了，真正市场需要有这么大吗？

答案当然是肯定的。IDC预测，未来五年人工智能市场复合增长率将达到44.9%，整体规模将达到175亿美金。

未来AI商业化有两个巨大的市场空间，一是AI产业化，二是产业AI化。人工智能经过数十年的发展，已经从实验室阶段到进化到AI产业化。从智能音箱到自动驾驶、生物识别，应用场景不断成熟，人工智能也正逐渐渗透到各行各业，产业AI化迎来了爆发性增长。

为AI产业提供计算力的平台，就是浪潮NF5488A5这样性能强大的AI计算服务器。

我为AI狂，浪潮5488A5问鼎MLPerf评测

接下来我们先来了解一下当今炙手可热的MLPerf测试。MLPerf基准联盟，现有50多家成员，包括谷歌、微软、Facebook、阿里巴巴、浪潮等企业，以及斯坦福、哈佛等高校。

MLPerf是一套用于测量和提高机器学习软硬件性能的通用基准，主要用来测量训练和推理不同神经网络所需要的时间。近日所进行的测试就是针对服务器推理方面性能。MLPerf测试集包含了不同领域的Benchmark子项，主要包括图像分类、物体识别、翻译、推荐、语音识别、情感分析以及强化学习。

既然是测试，就肯定会有跑分的环节。MLperf针对不同领域设置了不同的Benchmark，对于MLPerf Training测试，每个Benchmark的评价标准是：在特定数据集上训练一个模型使其达到Quality Target时的Clock time。由于机器学习任务的训练时间有很大差异，因此，MLPerf 的最终训练结果是由指定次数的基准测试时间平均得出。Train测试时间包含了模型构建，数据预处理，训练以及质量测试等时间。

据了解，本次MLPerf推理基准测试设有六个基准，重点面向图像分类、目标物体识别检测、医学影像分割、机器翻译、自然语言处理和智能推荐等常见机器学习任务。参赛选手可以选择提交任何基准及相应场景的结果。

MLPerf专为数据中心场景设计了一系列Benchamrk，数据中心场景下的各种推理基准测试包括: 图像分类、物体检测、语言翻译(gmnt)、语义理解、智能推荐等。

在数据中心Closed任务的16项性能指标中，浪潮NF5488A5打破了11项整机性能记录。

我们来看看其中Resnet50和Bert-99.9这两项测试。Resnet是残差网络(Residual Network)的缩写，广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有resnet50、resnet101等。

浪潮NF5488A5在Resnet50中close封闭任务场景的server项目中得分262305，夺得该项目第一名；offline项目得分303264；在开放优化赛道更是达到惊人的549782/秒的成绩，同比2019年服务器全球最好纪录提升3倍，与其他选手拉开了明显差距。

BERT模型是谷歌提出的基于双向Transformer构建的语言模型，主要考察服务器的模型训练性能表现。浪潮NF5488A5在该项测试中依然力拔头筹，甚至在得分方面压制住了备受关注的DGX系统，要知道这可是NVIDIA刚刚推出的明星级产品，其他类型服务器选手更是远远甩在了身后。

内功深厚的浪潮NF5488A5

那么，相比其他同类型服务器，浪潮NF5488A5又有何过人之处呢？

先来看看硬指标，NF5488A5是浪潮自研的新一代AI服务器，特点在于4U空间内可支持8颗第三代NVLink全互联的NVIDIA A100 GPU，搭载2颗支持PCIe4.0的AMD EPYC 7742处理器。

仔细观察不难发现，这些豪华硬件背后的特点就是：高带宽、低延迟！也就是说，浪潮NF5488A5在系统拓扑上采用了超低延迟设计，支持PCIe 4.0全链路优化，高频通信单元采用一级拓扑最近连接，最大限度提升处理器到AI芯片间的通信性能。通过配置NUMA节点，确保每颗处理器与其直连的GPU之间通信性能最优，最大限度降低通信延迟。

此外，NF5488A5还采用了当今备受关注的高温化设计，通过深度优化系统结构设计，确保设备可在高环温下稳定运行，因此适用范围、场景也更广。

正是因为有了这些过人之处的设计与优化，才使得浪潮NF5488A5能够轻松打破18项AI性能纪录。

AI计算正在助力各行各业快速发展

几年前，行业用户问题大都集中在“AI能做什么？”，而现在，关注的则是还有哪些应用没有用上AI。从AI的发展到壮大的过程，似乎快的令人难以想象。

与此同时，计算力的快速发展极大促进了各行业应用场景的成熟，AI产业化正加速向产业AI化迈进。互联网、智慧城市、金融行业已经全面融入了AI，未来五年，智造、零售等行业也在逐步加速产业AI化进程。

打开智能手机，各式各样的应用几乎都与AI和计算力有着密切联系。微信中的图片识别、语音转文字；金融应用中的智能客服；工具软件中的拍照翻译；购物软件中的拍摄识物等等，它们的背后都是由AI服务器来支撑。

以浪潮NF5488A5为例，如此强大的软、硬件系统，它能够广泛应用于图像视频、语音识别、金融分析、智能客服等典型AI应用场景，帮助AI用户高效完成AI基础设施和开发环境的构建，缩短开发周期，显著提升AI开发和应用效率，在享受更高计算性能的同时降低部署、运行成本。

一直以来，浪潮都在深耕人工智能计算领域，其产品也早已享誉全球。早在2017年，浪潮就曾发布“智慧计算”战略，聚焦打造全球领先的AI算力。现如今，浪潮拥有全球最丰富的AI产品阵列，涉及训练、推理、边缘等全栈AI场景，还构建了领先的AI框架优化、AI开发管理和应用优化等全栈AI能力。

IDC发布最新一期《2020H1中国AI加速计算报告》。报告显示，2020年上半年，中国AI服务器市场规模达到12.9亿美元，同比增长53.7%。其中，浪潮AI服务器市占率百分点达53.5%。 连续三年保持中国市场第一。