引言
在北京举行的LUG(Lustre User Group)2015会议上，做为主办方Intel的合作伙伴，戴尔公司高性能计算技术顾问凌巍才先生发表了主题为《面向高性能计算的Dell/Intel Lustre存储解决方案》的演讲。
在本文中，小编截取了演讲里的一些精华内容，并加入部分自己的理解和认识。希望能够对大家有所帮助。
Lustre并行文件系统的优势和挑战
根据上面的图表，IDC在2014年5月的统计数字显示50%的高性能计算存储使用了Lustre文件系统，GPFS和NFS的份额分别为21%和17%。而在2013年另一家分析机构的存储管理软件调查中，Lustre也高居第一位。
开源的Lustre属于一种分布式文件系统，同时也是并行文件系统。它的优势包括提供单一命名空间;可增加节点数来扩展容量和性能，并支持在线扩展;支持多个客户端并发读/写，通过分布式锁机制保障数据一致性等。
有人说与开源伴生的一个名词是折腾。笔者很早就听说过Lustre对设计、部署和调优的技术要求较高;其实别的一些文件系统(乃至商业文件系统)也类似，用起来不难，但真正用好了不容易。
如上图，存在挑战之处可能包括：应用设计、工作负载模型、网络带宽、IO模型(主要影响元数据性能)、OSS(对象存储服务器)和LUN的负载均衡、故障切换以及I/O优化等方面。那么对于在Lustre技术上积累还不够的用户，怎样快速有效地解决这些问题呢?
戴尔HPC方案架构、存储配置建议
Lustre最主要的用途是高性能计算，上图为戴尔的HPC方案架构，存储是其中的一个部分。关于计算节点的选择，刀片服务器有着灵活的配置和可管理性;传统机架服务器可以提供大内存节点;云服务器兼具密度和性价比，还有专门针对GPU设计的机型;工作站用于高性能计算通常为视觉效果要求高，配置专业显卡。
如上图，除了IB交换机来自合作伙伴Mellanox之外，在Lustre存储典型配置“Boulder”中戴尔能提供全部的服务器、存储和网络设备，包括MDS元数据服务器+MD3420双控SAS阵列，OSS对象存储服务器+ MD3460双控高密度SAS阵列+MD3060e高密JBOD扩展柜;还有管理节点、千兆/万兆以太网交换机。
戴尔不仅是简单地提供设备，在磁盘阵列RAID配置等方面都有具体的建议。比如连接到OSS的MD3460/MD3060e，其中60块硬盘建议做成6组RAID，每组10块盘配置为RAID6(8+2)，这样LUN(OST)可以达到比较理想的性能。在这里未配置热备盘，应该是HPC系统的可控性比OLTP等关键业务要高，在有硬盘故障Rebuild时可以酌情安排出停机时间，或者减少用户对存储的访问。由于采用了RAID10(MDT元数据存储) 和RAID 6 技术，所以可以采用冷备磁盘的方式，来处理磁盘故障问题。
性能测试：吞吐量和元数据
上面是Boulder配置的IOzone性能测试结果，单一客户端读写性能分别达到0.75GiB/s和0.63GiB/s，24客户端时的最大聚合性能，读写分别达到10.04GiB/s和5.68GiB/s。用户可以此对比自己的实际需求，戴尔能够帮助给出适合您的配置建议。
MDtest元数据测试主要用于评估小文件较多的应用场景。Boulder配置在单客户端测试中，每秒文件创建操作500次，文件状态(列表)2000次，文件删除1800次;而到了240线程，每秒总文件创建达到15K，文件状态(列表)400K;文件删除性能在192线程时最高为100K操作每秒。
企业版Lustre：融合HPC和大数据
在2013年春季IDF期间，笔者曾简单总结过Lustre的历史：“Lustre项目从1999年起始，2003年成立CFS公司并发布1.0版本。2007年开始属于Sun，并于2009年发布版本1.8。2010年，随着Sun被Oracle收购而加入甲骨文，发布了2.0版本。同一年，Lustre团队应该是从Oracle独立出来，并成立了Whamcloud公司。Lustre建立OpenSFS和EOFS两个开源社区。去年，Whamcloud被Intel收购，之后发布了2.3版。”(引用自：《Lustre：Exascale文件系统的前世今生》)
Intel在保持Lustre开源的同时，也推出了自己的企业版软件(IEEL)，上图中的绿色和红色方框里就是企业版才有的部分。其中包括生产级质量的文件系统增强;专用的Intel管理器;针对Apache Hadoop和Cloudera Hadoop的适配器能够提供MapReduce访问数据所需的HDFS接口;分级存储管理支持，包括POSIX拷贝工具和强大的策略引擎;使用ZFS最大化数据保护(数据完整性和快照);针对Xeon Phi的客户端及优化;使用不同的存储服务改进小文件性能;24x7企业级支持、专业服务和培训等。
戴尔正是凭借着和Intel的紧密合作，支持在IEEL软件的戴尔存储上运行Hadoop(相当于Lustre文件系统代替了HDFS)。目前该方案已经至少在两所大学有成功案例，它主要的好处就是将HPC和Hadoop的数据融合到了一套存储系统中。
综上所述，戴尔不仅是一家数据中心硬件设备提供商，还拥有自己的软件部门，并与众多合作伙伴联合提供各种行业应用解决方案的咨询等增值服务。
