王宇光:如何在构建下一代数据中心中提升存储效率

服务器 数据中心
现在我们知道如果数据库出问题,神马都是浮云。今天千万别等数据库出了问题再去解决问题.下面是NetApp王宇光先生在这次F5 Networks 高峰论坛中的一次演讲内容。

关于如何在构建下一代数据中心的时候有效提升存储效率这个话题。分为三个方面,***个方面,我们简要地回顾一下,在构建下一代数据中心的时候我们会面临什么挑战?第二个方面如何提升效率,我们怎么来做,我们如何来做,***看实际效果。

在云计算初级的时代,我们在构建一个数据中心的时候,我们的思路和以前都会发生很大的变化,那在以前呢,我们的系统都是那种基于竖井式的架构,每个系统都有自己独立的IP架构来支撑。在下一代数据中心里面会变成虚拟的公开层,每一个业务应用需要使用资源的话,需要从后面虚拟的层里面做到IT架构的使用。那就要求我们的基础架构提供高效的、动态的,灵活的架构来适应前面的变化。

可以稍微仔细地看一下,在这样一个下一代数据中心里面,要实现这样的云计算的始终可用、及时交付、数据安全、按需服务这样一些性能的时候,我们在基础架构的底层需求上也会带来相应的挑战,比如说我们的安全的管理体系,服务的自动化管理,数据的可移动性等等有,很多的话题。我们今天时间有限,之集中在如何提升效率这方面。这个也很简单。

在IT成本的统计中,在整个开支里面IT支出占主要的比例,在不增加成本的前提下如何去存储数据成为***的问题,我们不再去讲我们用更大的硬盘,硬盘的成本降低了,怎么样,这是一种物理的手段,我们希望通过更多软件的手段去提升你的存储效率。

从三个方面来讲,我们应该如何帮助你提升你的空间效率,提升你的管理效率,包括提升你的综合的经济效率三个方面。我讲到提升空间效率的时候非常容易理解,我们用有限的物理容量去存储更多的容积数据。也就是说不只是你买了一个T的硬盘,我就只能放一个T的内存,但是我可以存放两个T,甚至更多的T,通过一系列手段去扩大这个比例。

我们接下来介绍一些简单的事例来理解这个是怎么做到的。我们通过一系列的手段帮助你提升你的存储效率,最常规的数据手段就是删除的技术,这个技术在业界已经很普及了。在存储系统里面他们去扫描,在硬盘上存储的数据有哪些数据删存的,把相同的数据块删除掉,只保存不相同的部分,从而极大的节省存储空间。这个也要看所用的场景,在不同的场景底下节省的效率是不一样的,比如说在数据备份领域,那我们可以做到90%以上的同类数据的删除率。NetApp包括高低端的所有的系统里面,后台处理而且这是一个免费的,也就是只要,对应一个自己的操作系统,包括自己安装的程序。我们其实知道,很多操作的进项99%以上都是重复的,因为中间只有一些配置信息是不一样的,大部分数据是完全一样的。在这种情况下,我们通过使用我们的删除的数据,只在硬盘上保存一份数据,刚才有很多份,现在只有保存一份。但是在前端的业务系统看起来还是一个一个完整的项目,每个服务器都可以读写自己的文件,没有任何影响,也就是对前端的业务的影响是完全不感知的,是透明的。这是一个大概有超过1000台虚拟桌面的环境,每个虚拟桌面都需要有自己的定位信息、有自己的用户信息等等,Dedupe可以节省90%的存储空间,在大部分条件里面,通过重复删除可以删除50%的数据空间。在物理硬盘上有小的空间,但是有很多的空间可以来使用。

同时在一个大的数据中心里面,我们可能还要做到数据备份和数据容灾,这个手段也可以很好地和刚才讲到的重复删除技术结合在一起。当我想把数据从一个主数据中心、主站点备份到备份站点上去,把重复删除的技术和复制的技术很好地结合在一起,把数据从一个数据中心传输到另外一个数据中心之前,备份或者容灾之前,我会对系统的数据线做一个重复数据删除,我会做一个重复数据删除,删除的数据就会变少,我再去传输这些变少的数据。在传输的过程中,我们的复制的软件内置压缩的功能,进一步节省你需要传出的数据量,先做删除,再做压缩,这样同时加快你的带宽,加快备份的速度。备份窗口或者说恢复窗口非常关键,通过这样两个手段集成在一起,极大地提升恢复的数据量,这些数据都是完全集成在这里面的,你几乎不用做其他的使用的。

这是经过压缩以后把压缩的数据传输的实例。当你又写入很多新的数据,比如隔了一个小时之后,把新的数据复制过去之后,对新的数据线做删除,发现新增是蓝色的数据框,然后再压缩,再传输过去。

在讲物理存储,如何用更少的物理空间存储的时候,***举的例子FlexClone克隆的技术,这个技术简单来讲它可以在一幅原始的数据基础之上在瞬间产生夺得数据副本。它没有在硬盘上更多的空间,它是用原始的数据。但是我们知道在很多业务场景里面,在很多业务场景里面,每个数据副本其实查询自己的数据量是比较少的,你可以看上去通过这样一个副本的产生,原始数据是100个G,五个完整的副本需要500个G的空间,当你要写入副本的时候,每个副本写入10个G,这个3个G。要删除的时候非常快。在后面的案例里面大家可以看到实际的效果。刚才也讲到如何通过一系列的软件手段,来把更少的物理空间变成更大的逻辑空间。

第二个在空间效率里面,我们合理地去布局数据,因为在大的云计算的平台里面,一个存储平台里面你会用到不同档次的设备。比如***端的硬盘、低端的硬盘等等,我们需要去考虑的是如何有效地去使用存储空间,把我要求***的,安全性能***的数据放在性能***的设备上,把不常使用的数据放在廉价的数据上去。在这个问题上我分三个方面跟大家做一个沟通

***个方面,在一个大的存储体内,你可以用到高性能的硬盘,这个数据是极其敏感的。第二个是容量更大、使用成本更低的SATA硬盘。我们本来设想在高性能聚合体里面放高性能的数据,通过一段时间以后你会发现,这两天密集访问的数据过些天就没有人访问了。比如说上网,你看到了现在流行的微博,这些数据过了七天或者一个月以后几乎没有人看,你是不是还要把它放在高性能的里面,通过后台把一些数据从一个聚合体,一个存储体,一个物理位置上去,这个物理的移动的数据在物理位置上的移动,并不会改变前端业务系统的路径。也就是说最一开始应用系统访问一个高性能的存储体,这个是热点。过了一周以后,管理员到后台把高性能的存储迁移到后面去,但是你的客户感觉不到这个过程。这是***个方面,这是在一个存储体内。

你同样会面临一个问题,在一个大的数据中心里面可能会有很多的存储设备,那你能不能还能做到在不同的设备中间移动你的数据呢?这是我们要谈的第二个问题,提高你的存储的使用效率。这是一个示意,一台台的设备上面存放了三部分的业务数据,用了一段时间以后,你会发现这个原系统上A业务的负载变得非常的大,原系统的系统性能已经无法支撑这个业务的访问了,无论从容量和性能上来说都不能使用了。通过集成,我们叫数据移动的技术,你可以整个地把这部分数据给它动态地迁移到另外一个存储体上去,这个迁移的过程就可以把一个虚拟机从一个物理服务器上动态地迁移到另外一个服务器上。在这个迁移的过程中,我不但是把后台的数据动态地迁移过来了,我还把前面代表复制器的蓝颜色的也移动过来了,但是对于前端的业务访问来说也没有发生变化,这才是技术真正可用的地方。也就是说你迁移前后应用系统是不发生变化的,昨天还访问这个系统,晚上网络人员做一个迁移,但是他不知道这个数据已经发生了变化,服务器上不用做任何操作。这个技术可以用在任何方面,比如说系统的升级、扩容、负载的均衡,各种方面都可以利用,来有效地提高你存储的使用效率。

第三个方面,刚才讲的两个例子,都可以用在NetApp本身,不同的数据之间互相迁移,在两个NetApp数据之间迁移。在一个大的数据中心里面难免遇到第三方的存储设备,我们如何在这些设备之间很好地管理数据?我们大家看,F5的ARX系统可以很好地集成,可以灵活地迁移数据,但是你的前台业务系统看起来还是透明访问的,不影响你的访问。这是举的一个简单的例子,通过ARX技术迁移到NetApp设备上来,同时节省存储空间。这是一个事例。

当然了,在整个更大的数据中心的层面来看的话,还可以和F5、BIG-IP的产品来集成,帮助你来优化网络覆负载情况,帮助防范系统安全等等。

刚才从物理空间和数据两个方面谈了一下,现在在整个存储效率里面还有一个优势,因为NetApp可以唯一提供统一存储的厂商。包括SAN、NAS、虚拟化的功能,dataontap虚拟化功能等等,这些不同的可能设置到不同硬件、不同软件、不同业务流程的东西全部集成到一个产品流程里面,来给你提供一个相同的硬件、向东的软件、相同的流程。

在管理效率里面,特别是在云计算的平台里面,不可忽视的一个东西就是服务的自动化,那么多业务,那么多用户,如何来实现自动化的管理手段?整个数据中心的自动化管理的套件,我们在这儿不想去讲这里面一个一个模块都是什么功能,我想在这儿通过一个动画的演示让大家直观地去理解,在未来的云计算的数据中心的架构里面,你如何通过自动化流程来管理整个数据中心的存储部分。在构建大的数据中心平台里面,这时候来了一个新的业务请求,说我需要用两个800GB的Oracle金牌服务级别的,你事先在服务器里面定义好的服务存储形式,东西已经事先编制好了,根本策略管理,根据服务的定义。性能就会知道这两个800GB的金牌服务级别需要创建在什么样的服务器上去,同时这两个金牌服务级别在后台需要做定期的备份和容灾,所有这些自动化的配置过程全部在后台完成了,提前做好策略,根据事先定义好的完成了。系统又会在前台创建两个***级别的虚拟服务器挂在两个创建好的存储实利Oracle的服务来运行。我***好的级别,他怎么按我服务的性能是不是达到我的要求,数据保护级别是不是达到我的要求,容量和备份是不是正常在做,通过服务的衡量管理的模块,它可以自动去存储里面去收集存储指标,汇总成一个报表,所有的流程是按标准来运行,里面有没有什么问题都可以做到。这一整套的构成都可以通过这个完成。

第三个方面,经济效率方面。所谓的经济效率,我指的意思是说最简单的经济效率如何保护你的投资,你要在构建下一代数据中心的时候是不是把以前的东西全部扔掉、不要了,全部买新的?不是这样的,我们要提供一个横向和纵向的拓展能力,让你能充分利用。这也是捡几个动画给大家演示如何来做。一开始在数据中心里面只有一台磁盘,NetApp上面存放了一些数据。运行了一年时间以后,发现这个性能和容量都已经不够用了,通过NetApp集群式的扩展方面,可以再现成一个集群的模式。你再购买新的存储设备控制器和磁盘箱,这些新的控制器和磁盘箱可以组成一个大的集群,这个集群模式还是一台大的存储体,我们有统一的命名空间、统一的路径,让你看起来不管后台有几个控制器,多少个磁盘空间,在前台看来始终是一个大的磁盘空间。这种集群的扩展模式在业界是***的。你已经购买的NetApp设备,几乎都可以升级改造为集群模式。在这种集群模式里面它同时还支持SIEMENS,这也是业界***的,我们知道很多集群有很多,不管你从哪个设备都可以拓展一个集群,同时这个集群还支撑很多再现拓展的能力。

你发现有一台系统需要升级了,这个集群里面有老中青有三代设备,有不同档次的设备放在里面。其中一台设备需要升级改造的,你可以把数据迁移到另外一台新的设备上面去,然后把它更新为一台更高档次的***的设备上来,然后再把数据迁移回来,再重新做一个负载均衡。所有这个过程都是在线完成的,这个数据虽然在后台做了来回来去的迁移,但是还是感知的,是透明的。

***来看一下使用一系列技术,一些客户如何来达到他们的商业评估。通过这一系列的提升存储效率的技术,可以让你的Oracle的总体拥有成本降低39%,同时减少SAP,同时减少数据中心的热量。

看一个具体例子,在Oracle大学有4000个虚拟机,我们知道这种培训活动是每个学院来都要面临一个完整的环境,在上面做测试、做开发,做安装的调试等等,都需要有一个存储环境。利用我刚才说到的FlexClone的技术,但是我们的克隆技术用于创建临时学生数据库,如果不适用FlexClone则需要245TB。

小结,通过NetApp的一系列技术,可以让你下一台数据中心里面构建一个无中断的,按需分配的高效率的存储的管理平台。

 


 

责任编辑:于爽 来源: 51CTO
相关推荐

2017-11-13 15:25:02

2010-04-29 16:19:27

数据中心IT安全世纪互联

2012-07-31 14:12:56

数据中心布线布线数据中心

2013-05-22 10:23:50

SDN软件定义网络数据中心

2016-01-15 16:04:51

SDS数据中心

2014-11-18 10:51:53

数据中心网络Facebook

2010-04-12 10:52:37

刀片下一代数据中心

2010-03-26 09:08:11

微软数据中心

2009-05-05 14:05:35

博科数据中心虚拟化

2016-07-07 18:05:58

netapp

2010-05-10 16:25:49

2009-09-03 13:09:21

存储戴尔虚拟化

2015-07-23 11:02:06

模块化数据中心

2012-06-01 10:41:13

惠普数据中心

2021-02-25 11:23:49

数据中心400G光器件

2010-07-01 11:50:48

惠普数据中心博科

2011-11-22 13:31:05

微软数据中心云端MLC

2014-08-26 12:49:39

数据中心

2010-04-22 18:06:19

IT人云计算下一代数据中心

2015-04-02 16:49:21

数据中心下一代数据中心
点赞
收藏

51CTO技术栈公众号