高校大型高性能计算平台建设模式探讨

ＩＳＳＮ１６７２－４３０５ＣＮ１２－１３５２／Ｎ

实　　验　　室　　科　　学ＬＡＢＯＲＡＴＯＲＹ　

ＳＣＩＥＮＣＥ

第２２卷　第６期　２０１９年１２月Ｖｏｌ􀆰２２　Ｎｏ􀆰６　Ｄｅｃ􀆰２０１９

高校大型高性能计算平台建设模式探讨

盛乐标，周庆林，游伟倩，张予倩

（南京大学高性能计算中心，江苏南京　２１００９３）

摘　要：随着高性能计算资源需求的不断增长，大型高性能计算集群的建设越来越多，但大型高性能计算集群建设不同于传统的数据中心建设。由于高性能计算集群的高密度属性，其在机房设计、运营管理等方面都与传统的数据中心有着很大不同。结合南京大学两套大规模计算集群的建设经验，对集群建设过程中涉及的主要问题进行了总结，其中包括机房选择、软硬件选型等方面的问题，并在运营管理等方面进行探讨，为进一步提高国内高校大型高性能计算平台的建设提供一些参考。关键词：高性能计算；集群；并行文件系统

中图分类号：Ｇ６４２．０；ＴＰ３０２　　文献标识码：Ｂ　　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－４３０５．２０１９．０６．０４４

Ｄｉｓｃｕｓｓｉｏｎｏｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｌａｒｇｅ－ｓｃａｌｅｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍｉｎｃｏｌｌｅｇｅｓａｎｄｕｎｉｖｅｒｓｉｔｉｅｓ

（ＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＣｏｍｐｕｔｉｎｇＣｅｎｔｅｒ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ａｓｔｈｅｄｅｍａｎｄｆｏｒｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｃｏｎｔｉｎｕｅｓｔｏｇｒｏｗ，ｔｈｅｃｏｎｓｔｒｕｃ⁃ｔｉｏｎｏｆｌａｒｇｅ－ｓｃａｌｅｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒｓｉｓｉｎｃｒｅａｓｉｎｇ，ｂｕｔｌａｒｇｅ－ｓｃａｌｅｈｉｇｈ－ｐｅｒｆｏｒｍ⁃ａｎｃｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒｃｏｎｓｔｒｕｃｔｉｏｎｉｓｄｉｆｆｅｒｅｎｔｆｒｏｍｔｒａｄｉｔｉｏｎａｌｄａｔａｃｅｎｔｅｒｃｏｎｓｔｒｕｃｔｉｏｎ．Ｄｕｅｔｏｔｈｅ

ＳＨＥＮＧＹｕｅ－ｂｉａｏ，ＺＨＯＵＱｉｎｇ－ｌｉｎ，ＹＯＵＷｅｉ－ｑｉａｎ，ＺＨＡＮＧＹｕ－ｑｉａｎ

ｈｉｇｈｄｅｎｓｉｔｙｏｆｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒｓ，ｔｈｅｒｅａｒｅｍａｎｙｄｉｆｆｅｒｅｎｃｅｓｉｎｅｑｕｉｐｍｅｎｔｒｏｏｍｄｅｓｉｇｎ，ｏｐｅｒａｔｉｏｎｓｍａｎａｇｅｍｅｎｔａｎｄｏｔｈｅｒａｓｐｅｃｔｓ．Ｃｏｍｂｉｎｉｎｇｔｈｅｅｘｐｅｒｉｅｎｃｅｏｆｃｏｎｓｔｒｕｃｔｉｎｇｔｗｏｌａｒｇｅ－ｓｃａｌｅｃｏｍｐｕｔｉｎｇｃｌｕｓｔｅｒｓｉｎＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，ｔｈｉｓｐａｐｅｒｓｕｍｍａｒｉｚｅｓｔｈｅｍａｉｎｐｒｏｂｌｅｍｓｉｎｖｏｌｖｅｄｉｎｔｈｅｃｌｕｓｔｅｒｃｏｎｓｔｒｕｃｔｉｏｎｐｒｏｃｅｓｓ，ｉｎｃｌｕｄｉｎｇｔｈｅｐｒｏｂｌｅｍｓｏｆｃｏｍｐｕｔｅｒｒｏｏｍｓｅｌｅｃｔｉｏｎ，ｓｏｆｔｗａｒｅａｎｄｈａｒｄ⁃ｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍｓｉｎｄｏｍｅｓｔｉｃｕｎｉｖｅｒｓｉｔｉｅｓ．

ｗａｒｅｓｅｌｅｃｔｉｏｎ，ａｎｄｔｈｅｏｐｅｒａｔｉｏｎｍａｎａｇｅｍｅｎｔｉｓａｌｓｏｄｉｓｃｕｓｓｅｄ．Ｉｔｉｓｈｏｐｅｄｔｈａｔｏｕｒｅｘｐｅｒｉｅｎｃｅｃａｎｐｒｏｖｉｄｅｓｏｍｅｒｅｆｅｒｅｎｃｅｆｏｒｆｕｒｔｈｅｒｉｍｐｒｏｖｉｎｇｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｌｅｖｅｌｏｆｌａｒｇｅ－ｓｃａｌｅｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅＫｅｙｗｏｒｄｓ：ｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇ；ｃｌｕｓｔｅｒ；ｐａｒａｌｌｅｌｆｉｌｅｓｙｓｔｅｍ　　科学研究、云计算、大数据、人工智能的发展都与高性能计算密不可分。随着高性能计算资源需求的不断增长，国内兴起了建设高性能计算集群的热在国内高校中名列前茅，其先后于２００９年和２０１７潮［１－３］。南京大学高性能计算中心的集群建设一直年分别建设了两套大型高性能计算集群：一套以ＩＢＭＨＳ２２刀片为基础搭建，理论ＣＰＵ计算峰值超　　　　　　　　　　　　　　　　　　　　　　　　　

１１８７４１９７）。

过３４万亿次／秒，２００９年建成时是中国高校里规模最大的高性能计算集群，同年在中国高性能计算机性能ＴＯＰ１００排行榜中列第７位，并入选全球超级计算机ＴＯＰ５００排行榜第２０３位［４］；另一套以联想ＦｌｅｘＸ２４０Ｍ５为基础，理论ＣＰＵ计算峰值８７０万亿次／秒，在２０１７年６月发布的全球超级计算机大大缓解了南京大学校内计算资源紧张的情况，也为部分校外科研工作者提供计算服务，为推动地方科技进步和经济发展起到了积极作用。本文将介绍Ｔｏｐ５００排行榜中列第２８４位。两套集群建成以后，

　　　　　　　　　　　　　　　　　　　　　　基金项目：国家自然科学基金面上项目（项目编号：

　　　盛乐标，等：高校大型高性能计算平台建设模式探讨

南京大学（下面简称“我校”）在建设大型高性能计算集群时考虑的主要问题并对高性能计算中心建设运营的模式进一步展开探讨。

１５９

如：开间的大小，地板的承重能力等。考虑到承重问题，一般建议机房设置在一楼。

（３）机房所在楼宇的电力设施必须能满足相应

１　高校大型高性能计算平台建设需要考虑

的主要问题

１．１　建设大型高性能计算集群的环境准备

的用电负荷。因为大型计算集群的用电负荷非常大，必要时需要电力增容。另外，考虑到异常断电对集群的影响，尽可能选择双路供电。消防管理的安全要求。

在建设大型计算集群前，首先要考虑场地问题。

（４）机房场地还必须满足相关抗震设防要求和确定机房场地后，还需要对机房布局进行合理

选择一个合适的机房场地并对计算设备、周边设备进行科学合理的布局，是保证大型计算集群稳定运行的重要前提。我校高性能计算中心在建设第一套大型集群时在选择机房场地方面，也是几经周折。计算集群对机房的空间、环境、用电负荷、安全等要求都较高，若前期场地选择和机房设计不合理，在后期集群部署完成以后再要变更，将十分困难。大型计算集群对机房场地的要求主要包括四个方面。

（１）机房场地要达到相应的环境指标，要求环

设计。合理的机房布局，可以最大程度发挥大型计算集群的效率；反之，集群将会遭遇故障停机、空调运行不畅或损坏，甚至引起安全事故等。我校新建的大型计算集群采取了冷通道（冷池）设计，主机房内具体的设备布置如图１所示。ＵＰＳ及配电间要单独布置，ＵＰＳ容量需满足带机设备延时不低于１小时为佳。ＵＰＳ的带机设备在条件允许时可以涵盖所有计算设备，如果条件不允许，可以仅包含存储、登录节点、管理节点、作业调度节点等功能性节点。我校两套大型计算集群的ＵＰＳ的带机设备都仅包含存储和功能性节点，在使用期间也经历过几次异常断电，但未对两套集群造成损害。

境清洁、无尘，防止任何腐蚀性气体、废气的侵入，机房内不允许水、气管道通过（水冷型设备除外），空气调节设备应能满足设备正常运行的温度与湿度要求，有通风设施，可以防灰、防虫、防潮等。

（２）机房场地对空间及结构也有特殊的要求，

图１　南京大学新建大型计算集群主机房中计算设备、存储设备和网络设备等的布置图，左右两侧分别封闭成单独的冷通道（冷池）

１．２　制冷系统的设计与选型

可少的冷却塔、水泵、锅炉及相应的管道系统等许多辅件，系统结构复杂，维护保养费用高，而且需要将含水管道引入机房；而风冷型精密空调系统结构简单，对安装空间要求不高、维护管理方便，不依赖于供水，节约水资源，全年运转费用较低。我校的两套大型计算集群都采用了风冷型精密空调进行制冷。

如今我校大规模集群建设，制冷系统一般设计成冷池（冷通道封闭）或热池（热通道封闭）的形式，池中放入机柜和列间空调（也称行间空调），这种方式制冷效率较高。冷池方式由于用于冷却环境的制冷量减少，效率相对热池方式更高一些。制冷系统中空调

制冷系统是大型集群稳定运行的重要保障。从

我们建设两套大型集群的经验来看，制冷系统的故障几率要大于计算设备的故障几率。因此制冷系统在设计时一定要保证有足够的制冷余量。除了直接水冷服务器，现有的制冷系统一般采用风冷型精密空调或水冷型精密空调。风冷型精密空调由风冷式直接膨胀机组从机房里吸取热量通过冷凝器传递到室外空气中。水冷型精密空调由水冷式直接膨胀机组从机房吸取热量通过内置水冷冷凝器传输到制冷剂中。水冷型精密空调需要包含冷却水系统所必不

１６０　　　　　　　　　　要保证足够的制冷余量，空调出风口的布置要合理，两排计算设备的间距要适中，尽量保证空调回风可以在计算设备内均匀分布，否则会导致机房内或通道内局部温度过高，破坏整个机房的温度平衡。１．３　存储的设计与选型

存储是大型集群的数据仓库。商业化的专业存

究机构中采用得较多的两种并行文件系统。对服务和稳定性要求较高的，可以选择ＧＰＦＳ文件系统，对价格敏感或者对新功能有要求的，可以选择Ｌｕｓｔｒｅ文件系统。

１．４　计算设备与管理系统的选型

除了上述的存储之外，计算设备选型过程中还

储系统性能稳定，但是价格也较昂贵。我们一般建设两套存储，分别满足不同的计算需求。一套以购买商业化专业存储系统为主，该存储上挂载用户的目录，并运行对Ｉ／Ｏ要求不高的计算作业；另一套则以机架服务器堆叠建设高性能存储，可以满足低成本、高Ｉ／Ｏ的需求。前者运行稳定，后者性能优异，稳定性稍差，同等价格条件下，后者的Ｉ／Ｏ性能可以达到前者的三到五倍以上。两者的结合基本可以满足大部分计算作业对存储的要求。

建立在存储之上的并行文件系统也是需要考虑的一个因素，并行文件系统可以将单个文件的数据以分条的形式分别存放于不同的存储节点上，支持多节点多进程的并行存取，也支持数据、元数据的分布存放，并可以提供单一的目录空间。ＩＢＭ公司的ＧＰＦＳ并行文件系统和Ｉｎｔｅｌ公司的Ｌｕｓｔｒｅ并行文件系统（现已被ＤＤＮ公司收购）是目前高等院校和研

要考虑到处理器、内存等的选型。在高校建设的集群中，处理器基本仍是采用Ｘ８６架构的处理器，部分节点加上ＧＰＵ处理器或者ＭＩＣ协处理器。非Ｘ８６架构的处理器因为涉及应用程序的移植，目前的使用还不普及。选择内存时，主要考虑每个ＣＰＵ核对应的内存容量不能太低，否则会影响集群的性能。服务器节点有时还涉及到ＰＣＩｅ插槽的选型，以满足可能的设备扩展的需求。

管理系统的选型主要包括集群管理软件和作业调度软件。不同品牌的服务器往往有自己的集群管理软件，开源的ｘＣＡＴ也是一个非常不错的选择。作业调度软件方面，主流商业版本主要包括ＩＢＭＳｐｅｃｔｒｕｍＬＳＦ和ＡｌｔａｉｒＰＢＳＰｒｏｆｅｓｓｉｏｎａｌ，另外还有众于稳定的大型计算集群，建议采用稳定的商业版。

多的开源作业调度系统，如ＯｐｅｎＰＢＳ、Ｔｏｒｑｕｅ等。对

图２　南京大学新建大型计算集群网络拓扑图

盛乐标，等：高校大型高性能计算平台建设模式探讨

１．５　集群内网络的设计与选型

１６１

院系计算资源少，但每年有固定经费投入的高校，第一种模式也不失为一种比较好的替代方案。２．２　高性能计算中心的运营模式

大型高性能计算集群的建设和运营，需要有人

集群内的网络至少涉及三块：计算网络、作业调

度网络、设备管理网络。有条件的尽可能将这三块网络分开。我校新建大型计算集群的网络拓扑图详见图２所示。高效、稳定、低延迟的高速并行计算网络是一个集群实现高性能的基础，高速计算网络目前主要有两个选择：ＭｅｌｌａｎｏｘＩｎｆｉｎｉｂａｎｄ和ＩｎｔｅｌＯｍ⁃ｎｉ－Ｐａｔｈ，Ｉｎｆｉｎｉｂａｎｄ推出的时间比较久，Ｏｍｎｉ－Ｐａｔｈ

员和后勤的保障。因此，有相关建设需求的高校一般都会设立高性能计算中心、超算中心等部门，专门负责大型计算平台的建设、管理和维护。没有专职部门和专职人员管理的大型计算平台，使用情况往往都不太理想。高校高性能计算中心的运营，一般是近两年才推出的产品。高速计算网络部署时需要考虑使用哪种网络模型和部署方式（１００Ｇｂ目前／主ｓ），流是否需要实现计算网络全线速的是每端口传输速，端口传输速率率５６Ｇｂ、无阻塞／ｓ和等。对于大型计算集群，尽量选用端口数多的交换

机型号，提升网络性能和稳定性。另外，存储选型时也需要考虑是否直接接入高速计算网络。作业调度网络主要用于作业调度系统的网络通讯，作业调度系统需要持续监控各个计算节点的健康状况和作业运行状况，良好的作业调度网络保证了作业调度系统的正常稳定运行。设备管理网络可以对集群内的服务器、存储、网络交换机等硬件设备进行管理，一般布置在单独的网段内，以免冲突。作业调度网络和设备管理网络采用传统的千兆网络即可。

２　２．１　高性能计算中心建设高校建设大型高性能计算集群或共享型大型计

高性能计算集群的建设模式

、运营模式的探讨

算平台，主要也存在两种建设模式：一种模式是每年投资一部分经费，用于采购中小规模的集群，集群每年进行扩容；另一种模式是每五到六年集中经费建设一个大规模的计算集群。两种模式各有优劣。第一种模式由于每年都进行采购，因此可以快速地使用上最新的硬件产品，但同时新购的设备品牌、型号等都会发生变化，导致同一个计算平台上拥有多个集群，或者一个集群各种设备混杂其中，给管理和使用带来了很大的困难，而且这种模式建设的集群不便于运行大型或超大型的并行计算任务。第二种模式虽然不能很快地使用上最新的硬件资源，但是由于建设时软硬件统一、单个集群中计算资源也较丰富，管理、使用简单，系统稳定性好，更适合大规模的并行计算任务。

针对二级院系已有中小规模集群基础的高校，共享型大型计算平台宜选用第二种模式，小规模的计算任务可以在院系的平台上进行，而中大规模的计算任务则在校级共享计算平台上进行，使大中小型计算任务都可以得到合理的计算资源。对于二级

也有两种模式：一是以熟悉高性能计算应用的人主导大型计算集群的管理和运营，二是以熟悉计算机软件技术的人主导大型计算集群的管理和运营。第一种模式因为集群管理者本身就是集群的使用者，因此对集群使用的各个环节都有比较好的认识，可以促进集群更利于终端用户的使用；第二种模式因为集群的管理者对计算机体系架构较熟悉，可以更容易地参与到集群的调优、定制化，以及一些相关的研究项目中去。高校应该根据学科发展的特点和实际情况，选择适合自己的运营模式。

３　结语

高性能计算的重要性得到了越来越广泛的认识，各地也纷纷进行高性能计算集群的建设。大型高性能计算集群的建设，是一个复杂的过程，需要考虑到包括机房选择、空间布局、软硬件建设、管理运营等一系列内容。本文主要介绍了南京大学在建设大型高性能计算集群过程中积累的一些经验，希望能给国内正在和即将进行的大型计算集群建设工作提供一些参考。我们也将不断探索和实践，将南京大学高性能计算中心的大型高性能计算平台建设得更加完善。

参考文献（Ｒｅｆｅｒｅｎｃｅｓ）：

［１］　张军华，臧胜涛，单联瑜，等．高性能计算的发展现状及趋势［２］　关伟豪［Ｊ］．石油地球物理勘探，２０１０，４５（６）：９１８－９２５．

的建设，［Ｊ］．吴汝明实验技术与管理，郭清顺，等，．２０１１（４）：中山大学高性能计算服务平台

３０３－３０６．［３］　［Ｊ］．黄建忠计算机教育，张沪寅，，２０１２（２２）：５５程媛．开放式高性能计算平台的建设与研究［４］　盛乐标－５９．

与实践，［Ｊ］．游伟倩实验技术与管理，周庆林．南京大学高性能计算中心建设的探索

，２０１３，３０（１１）：１４４－１４６．收稿日期：２０１８－１２－１３修改日期：２０１９－０５－０６

作者简介：盛乐标（１９８２－），男，江苏盐城人，博士，高级工程

师，主要研究方向为大规模并行计算方法研究与应用。