大港分院用HP刀片式服务器集群绘制石油藏宝图

2004年7月22日，中国石油集团东方地球物理公司研究院——大港分院HP高性能计算集群系统正式投产，这个以HP刀片式服务器作为计算节点的高性能集群系统，浮点计算能力达到每秒14000亿次，实现二维常规处理12000千米、三维常规处理6000平方千米、迭前偏移处理3000平方千米的年处理能力，使大港分院地震资料处理能力和处理水平获得大幅度提升。

需求分析

现在，随着石油勘探和处理技术的发展，效率更高的地震勘探方式已成为油田勘探的主流。数据处理的难点在于数据量大、运算量大。一方面，在地震勘探数据的处理方式上，更先进有效的计算方式要求更大的运行量。；另一方面，随着石油勘探的技术的进步、采集精度的不断增加，野外数据采集的数据量呈几何级数的增长。这些看似简单的采集环节的精度增加，到了数据处理阶段，数据量都将呈“指数级”难以想象的速度增长。

HP刀片式服务器显身手

针对在地震资料处理中批量处理任务较多的特点，考虑到地震资料处理中叠前时间偏移和叠前深度偏移所要求密集算法占用CPU资源较多，以及计算耗时等并行处理的特殊性，2004年1月大港分院正式选用了以HP刀片式服务器为节点组成的高性能计算集群系统，并安装了CGG、Geodepth等先进的处理软件，使大港分院地震资料处理能力和处理水平得到大幅提升。经过近半年的安装和试运行，系统在7月22日正式投产。

大港分院此次选用了由HP提供的包括硬件和软件在内的整套高性能计算方案，包括119个HP ProLiant BL20P节点、14个基于Intel至强处理器ProLiant DL380G2作为I/O节点，以集群技术组成超级并行计算机作为地震资料处理的主机系统，共131个节点，262个处理器，整体计算能力实现浮点计算达1.4万亿次/秒。

在整套系统中硬件系统包括：

◆I/O节点：采用主频为3.06Hhz的HP ProLiant DL380G2 2U机架式服务器

◆计算节点：采用主频为2.8Hhz的HP ProLiant BL20pG2刀片式服务器

◆监控分发节点：采用HP ProLiant DL380G2 2U机架式服务器

◆管理节点：采用HP ProLiant DL360 1U机架式服务器

◆互连网络系统：采用HP ProCurve Switch 高性能网络交换机，每套PC-Cluster计算机系统由两个网络系统组成，一个为高性能的千兆以太网传输数据信息，一个为10/100快速以太网传输管理控制信息

◆存储系统：采用HP Smart Array机群阵列盘柜

◆机柜、线缆及附件：采用HP公司的机柜，线缆及附件

◆内置控制台系统：采用HP的TFT显示器、键盘、鼠标和控制台交换机。

软件系统包括：

◆操作系统： Redhat Linux 7.3

◆机群监控系统：采用HP Insight Manager、ProCurve Manager等

◆机群管理系统和机群部署系统：采用HP Cluster Management Utility（CMU）

◆应用开发环境：支持GNU C、C++、GNU F77、F90、Java、Intel C和Fortran编译器，支持PGI CDK Cluster Development Kit

◆并行环境：支持PVM、MPI

◆作业管理系统：OpenPBS

处理能力获得全面提升：

◆整体计算能力实现浮点计算达1.4万亿次/秒

◆年处理能力：二维常规处理能力1.2万千米，三维常规处理能力6千平方千米，迭前偏移处理能力3千平方千米。

为什么是HP刀片？

鉴于高性能计算应用的特殊性，用户对高性能计算的扩展性、稳定性以及先进的技术需求要求高、变化快，尤其在地球物理勘探这样长期、大量使用高性能计算机的行业来说，为了解决超大数据量的计算处理问题，过去曾采用过主机带阵列机、向量计算机，以及90年代采用的大规模并行计算机，这些方式对于提高计算速度和处理能力都起到了重要的作用。但随着地质结构越来越复杂，叠前偏移工作量越来越多，大量的叠前偏移处理任务需要越来越强大的计算性能。完全选择基于Unix的超级计算机系统则需要巨额的投资，而随着工业标准服务器的发展，PC集群系统在主频和处理能力方面已经完全能够胜任叠前偏移要求处理大数据量的任务，并还具有极强的可用性、可扩展性和可管理性，而且其性价比比基于Unix的并行机更为优越，用它来完成密集算法，能够大大节省成本。

大港分院副总工程师兼计算机服务中心主任张武斌介绍说：刀片式服务器作为一种高可用高密度的低成本服务器平台，它在高密度、易扩展和低成本方面都更适合地震资料处理的要求。地震资料处理对高性能计算系统的要求集中体现在计算处理速度快、存储量大这两个关键指标上。此次引进的HP ProLiant BL20P G2是一款高性能的带有双处理器的刀片式服务器，它采用高性能的Intel XeonTM DP 2.8GHz/533 MHz处理器，带有SAN存储能力，支持多达8GB的PC 2100 DDR内存和千兆以太网卡。刀片式服务器的优势主要体现在：

◆刀片服务器在通风、耗电等方面，比1U机柜更适合地球物理的应用。

◆刀片式服务器集群节点密度高于传统的1U机柜，而占地面积更少，可以在有限的空间整合巨大的运算能力，即使在未来增加更多的节点，也不需要考虑机房空间问题。

◆在密集型的高性能计算中，刀片式服务器在布线和相互连接方面比传统的机架式服务器又有很大的改进。使用HP刀片式服务器时，布线更加简单。

此套高性能计算系统以HP Smart Array 500机群阵列盘柜作为存储系统，由于MSA500提供了高速缓存读写比例调整功能，使写的速度由20M/S提升到60M/S（实际测试值），很好在突破了传统高性能计算系统在“写”功能上的局限性，有效提供地震资料处理速度。

便捷的远程管理

在HP为大港分院提供的高性能集群整体解决方案中，所包括的HP集群系统管理软件Cluster Management Utility（CMU）是一个非常出色的Beowulf Cluster系统环境下的管理软件，它提供了友好的图形用户界面，使集群管理将变得更加高效，并通过减少相关的管理任务，使Beowulf集群成为一个经济高效的解决方案。比如，CMU使用了RILOE板并集成了iLO的特性，使远程文本控制台在服务器的所有状态下（设置、启动、OS或暂停）均可使用远程控制服务器电源，无论服务器处于何种状态（即使服务器关机）远程BIOS设置借助独立于CMU的WEB浏览器，远程访问图形控制台。由于CMU具有将一个节点的系统磁盘分区克隆到其它集群节点的能力，从而能够避免对集群中各节点进行系统安装或配置所带来的耗时、费力的工作，这一特性使大港分院能够在3天内就完成了集群系统的安装。

同时，HP ProLiant刀片服务器配置了HP Insight Manager 7，这是业界领先的基于Web的企业管理控制台，可以通过Insight Manager可以管理所有的刀片式服务器，而且还能管理存储、电源、打印机等。这些功能强大的管理软件使大港分院IT人员能够更高效、更低成本地管理和控制数据中心的数百台服务器。

服务到位

对于大港分院具有每秒14000亿次浮点计算能力的大型高性能集群系统而言，厂商的服务至关重要。张主任深有感触地说：“虽然这个以HP刀片式服务器为节点、节点数达131个的大港分院高性能集群系统，是HP刀片式服务器在国内甚至是全球石油物探领域第一个如此大规模的应用，但HP的技术实力和金牌服务以及HP合作伙伴——北京神州泰乐技术有限责任公司丰富的行业经验，能够很好地化解了我们作为‘第一个吃螃蟹之人’所承受的风险和压力。HP提供的金牌服务，能够快速响应我们的需求，为系统的顺利安装和运行以及日常维护提供了重要保障。”

另一方面，在此项目中承担具有实施任务的北京神州泰乐技术有限责任公司，拥有丰富的地球物理高性能计算行业经验，通过把这些宝贵的行业经验融入到项目的实施进程中，并在项目实施过程中与用户、厂商紧密合作，使大型项目实施过程中难免出现的这样那样问题得以顺利解决。

“公欲善其事，必先利其器。”大港分院在业务的不断发展中，选择了与HP高性能计算集群系统方案的强强联手。随着新设备的投入，大港分院必将抓住机遇、发挥优势、依靠技术创新，更好地发挥一体化找油先锋优势。同时，HP依靠自身高性能计算领域的技术优势，以及对石油行业应用的不断加深了解、宝贵经验，必将与石油行业用户一起，更好地服务于中国的物探地质研究。