落地行业 积极开放 访浪潮大数据一体机发布

原创
服务器 服务器产品
2010年全球大数据以及相关的硬件、软件和服务市场,已经达到30亿美元,2015年整个市场将超过170亿美元,每年超过50%的平均增长速度让大数据成为全球IT产业增长最快的领域之一。2012年11月27日,浪潮集团在京发布基于全新技术架构的大数据处理平台——云海大数据一体机,并向产业界正式发布大数据整体战略,希望藉此推动大数据技术在我国各行业的应用。

 2010年全球大数据以及相关的硬件、软件和服务市场,已经达到30亿美元,2015年整个市场将超过170亿美元,每年超过50%的平均增长速度让大数据成为全球IT产业增长最快的领域之一。2012年11月27日,浪潮集团在京发布基于全新技术架构的大数据处理平台——云海大数据一体机,并向产业界正式发布大数据整体战略,希望藉此推动大数据技术在我国各行业的应用。

[[104701]]
浪潮大数据一体机发布仪式

随着互联网、IT技术的迅速发展,也让数据呈现爆发式的增长。截止到2012年全球累计数据总量已达到27亿TB。未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值,通过挖掘海量数据,公司的决策、运行会建立在更加科学的基础上,失误更少、效率更高;而对于政府,大数据技术可以提高政府决策效率、危机应对能力和公共服务水平,建设更高水平的智慧政府。

目前,我国以百度、淘宝等为互联网的企业,已经开始对大数据的挖掘和应用。而发展大数据产业不仅应该关注互联网领域,更应该关注行业领域,行业客户的数据质量高、规模大,挖掘价值远高于互联网,可以说,行业才是中国大数据产业应用和发展的主体。

[[104702]]
浪潮集团高级副总裁王恩东致辞

浪潮集团高级副总裁王恩东表示,“行业大数据的应用不同于互联网,会面临许多新的技术挑战,行业数据观点性长,大数据应用复杂,跨度更大,跨部门,甚至跨行业需求更多,并且行业用户需求处理准确性,相应及时性也远高于互联网技术,互联网模糊数据难以满足精确数据的要求。”

王恩东指出,经历了二十几年各个行业已经具备了一些基础,金融、电信、工商、交通卫生等行业已经积累下大量的数据资产,这些数据价值密度高,经过浅度处理便可产生巨大的价值,与此同时在政府服务转型,转变发展方式的大背景下,各个行业、机构、迫切将数据转化为对外的数据,转化为业务的竞争力,因此大数据具有广泛的应用前景,推动大数据在行业中的应用是中国产业发展的关键。目前类型复杂,增长迅速数据累计的规模超出了传统的数据处理技术能够承受的范围。

[[104703]]
浪潮集团系统软件总监、云计算产品研发部总经理张东 

对于目前火热的大数据技术,浪潮的嘉宾也阐释了自己的观点,浪潮集团系统软件总监、云计算产品研发部总经理张东认为现有的所有技术,其实都是有局限的,包括现在在用的很多分布式技术,比如Oracle RAc***可支持100个节点,而HADOOP集群***规模可达4000个节点。实际上随着规模的增长,系统内总会遇到各种各样的问题,比如系统里面单点能力不强的问题。比如HADOOP,各个节点的能力决定了你的规模。第二点,就是故障的处理,分布式系统要面对一个相当大的问题,就是如何在大规模情况下还能够实现可运行,加入其中一个硬件出现故障,将马上引起整个分布式系统做恢复,这要增加很多计算量,而规模的扩大化会加重这一问题。第三,规模扩展的同时,也是会引发网络问题,也就是说网络随着规模的扩展流量增加将是指数级的。


浪潮大数据一体机图示

对于大数据的不同应用,张东将其分为四类。他表示,四类大数据应用中,***类还是针对重载应用,重载应用可分为两个不同的重载,一种是对于重的多媒体的处理,它的图像量很多,数据量很大,浪潮大数据一体机就会配置很大的内存;另外一类是OLGP耦合度高,这一类闪存会比较多一点。第二类针对现在比较常见的商业数据挖掘,追求计算平衡,会采用比较分布式的,类似于Hadoop—MapReduce计算应用。第三类是数据量较大的应用,它对响应要求非常高的,这种应用非常快速,把数据全都用到内存里面,快速响应数据的要求。***一类则是在安全、机密要求最为严格的,浪潮会从国产处理器开始,到整体硬件,以及全套国产软件打造全部国产大数据解决方案。

张东认为,靠单一的方案是很难解决不同的大数据应用问题,要去保障IT基础设施扩展性,单凭规模是解决不了问题,还需要在硬件软件方面能提升单节点的性能,也就是说在横向扩展的同时要实现纵向扩展,同时在网络和存储方面进行优化,提高带宽和各个节点之间耦合度。

浪潮针对前面所提出的问题,发布了软硬件一体的创新数据处理平台,针对不同的应用来推出不同的系列化的产品,并且借助浪潮专业化研发和支持团队,提供全国产的自主可控方案。

目前,浪潮云海大数据一体机面向视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用,可提供三个系列的个性化产品,同时为客户提供基于飞腾处理器、浪潮K-UNIX系统等国产技术的全国产方案。浪潮集团高级副总裁王恩东表示,数据处理将走向专业化,具体表现就是方案产品化、产品系列化和应用细分化,浪潮大数据产品线将随着用户应用水平的提高而不断完善。

在产品层面,云海大数据一体机经过全局性的优化,性能、可用性、效率等关键技术指标方面有了大幅提升。浪潮采用硬件加速技术,设计了专门的FPGA模块固化特定算法,并集成多级缓存,数据排序性能提高了50%以上;系统任务调度策略是影响系统响应及时性的重要技术,浪潮开发了动态调整任务执行模块,有效减少了慢任务数量,任务执行时间平均缩短16%;副本数量和存储效率是难以调和的矛盾,浪潮引入Reed-Solomon算法,优化分布式散列数据布局,满足文件高并发和高带宽双重需求同时平衡数据冗余度,所设计的两副本加编码的方式相对三副本***可实现30%空间节省。


会后专访

对于浪潮大数据行业布局,王恩东副总裁在回答51CTO记者提问时表示,公共安全是浪潮要做的***个行业;第二个则是医疗,因为这两个行业的数据融合性、业务迫切性都比较高,从国家来讲投入也比较大,已经形成了长期的规划。

在产业合作方面,张东总经理表示大数据处理的方法很多,不同的人在研究不同的东西,像国内互联网公司已经走在了前列,他们在搜索、电子商务解决方案上,也做了很多工作。浪潮与这些国内领先企业,包括百度、淘宝等公司在硬件结构,在软件方面也是有过一些合作的,浪潮将继续抱着开放的态度,与业界共同交流,将大数据逐渐做强做大。

结语:

当前,中国正面临从粗放到可持续的发展方式转变挑战。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,提高整个社会经济的集约化程度通过对各种数据的分析。政府也能够通过大数据创新社会管理模式,改善公众服务能力,大速度提高对于突发事件的判断和应对能力。

因此,数据将逐步与能源、粮食等一样成为国家的战略性资源,而浪潮大数据一体机及战略的发布体现出针对行业、开放合作的特点,我们相信浪潮这样的企业,将会进一步增强技术生态系统的竞争力,推进行业化应用,进而推动我国大数据整体应用水平。

 

 

责任编辑:常疆 来源: 51CTO.com
相关推荐

2012-11-26 13:02:10

浪潮大数据一体机

2014-04-11 14:46:09

浪潮云海金融

2014-02-12 09:15:17

Oracle大数据

2014-03-20 21:23:18

金融行业浪潮云海

2012-11-28 20:56:03

浪潮一体机浪潮大数据

2014-10-29 14:18:18

浪潮SDDC战略

2013-05-31 10:19:12

XData大数据一体

2014-04-01 22:46:20

大数据应用金融一体机金融

2014-10-29 16:23:59

浪潮数据中心一体机

2011-05-03 15:35:48

一体机购买技巧

2014-08-27 12:22:51

浪潮VMworldEVO

2013-09-17 14:23:52

天云大数据一体机

2013-02-25 11:30:14

2015-09-23 17:07:33

乐事

2017-09-06 16:07:26

一体机电脑PC

2013-01-31 09:06:32

存储初志科技一体机

2011-05-26 14:02:16

华硕一体机
点赞
收藏

51CTO技术栈公众号