一组数字:
据IDC在2011年发布的一项报告显示,2011年将产生和复制的数据达到1.8ZB,其增长速度超过摩尔定率。
1.8ZB相当于:
中国每个人每发钟发送3条微博且连续6217年不间断;
超过2000亿部高清电影(每部长度2小时),一个人24小时不间断的全部看完需要4700万年;
这些信息将填满575亿个32GB的苹果ipad,如果有这么多的ipad,我们可以:
建起一座比富士山高25倍的山峰;
覆盖86%的墨西哥城;
建起一堵ipad长城,平均高度是真实长城的两倍;
这些数字告诉我们,由于移动互联网和物联网的发展,产生了海量的数据,并且,全球数字信息在未来几年将呈现惊人增长,预计到2020年总量将是现在的44倍。是选择淹没在海量数据的海洋中,还是选择在其中掘金,这完全取决于你。
啤酒和尿布的故事
“啤酒与尿布”的故事算是营销界的经典段子,故事产生于20世纪90年代的美国沃尔玛超市中,沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象:在某些特定的情况下,“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中,这种独特的销售现象引起了管理人员的注意,经过后续调查发现,这种现象出现在年轻的父亲身上。
在美国有婴儿的家庭中,一般是母亲在家中照看婴儿,年轻的父亲前去超市购买尿布。父亲在购买尿布的同时,往往会顺便为自己购买啤酒,这样就会出现啤酒与尿布这两件看上去不相干的商品经常会出现在同一个购物篮的现象。如果这个年轻的父亲在卖场只能买到两件商品之一,则他很有可能会放弃购物而到另一家商店,直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象,开始在卖场尝试将啤酒与尿布摆放在相同的区域,让年轻的父亲可以同时找到这两件商品,并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件,从而获得了很好的商品销售收入,这就是“啤酒与尿布”故事的由来。
通过这个故事,我们看到只要通过简单的关联性分析并做出决策,就会产生意想不到效果。现在每个企业无时不刻产生和收集大量的信息,如何才能让这些信息为我所用呢?
#p# Etu助力企业掘金“大数据”
上面我们提到的1.8ZB叫做海量数据,海量数据主要从数据的收集角度去考虑问题。而大数据除了包括数据收集,还包括数据管理和数据分析。并且,海量数据包括结构化和半结构化的交易数据,而大数据除此以外,还包括非结构化数据和交互数据,其中非结构化数据占企业数据量的85%。企业开始面临数据的规模化、多样化、高速化的挑战。如何利用数据,如何发掘数据的价值,如何从已有数据中洞察出行业趋势并增强竞争优势,已成为企业从反应型组织向主动型组织转型的关键。
近日,精诚集团正式发布了Big Data解决方案品牌——Etu(知意图),将通过为用户提供软硬结合的一体化解决方案。精诚云中心暨Etu负责人蒋居裕表示,Etu的使命在于简化与优化Big Data价值萃取流程,协助企业拥抱Hadoop云数据计算平台,提高获利转换率、降低风险。”
据介绍,Etu是一款软硬件结合,具有高度优化的设备,集快速部署,计算和存储为一体,十分钟内就能够部署100个节点。同时,与Hadoop技术结合,并进行性能优化,etu一体机能够使Hadoop性能提升4倍,水平扩展高达2000个节点,内嵌有一些容错的机制,包括备份,不用害怕数据丢失,也可以容忍硬件故障。
Etu一体机大数据解决方案架构包括一个主节点和两个工作节点,主节点负责是调度整个集群的资源分配。数据和任务都是运行在工作节点上,当数据量越来越大,目前架构和容量没有办法处理的时候,可以在已经运行的集群不停机的情况下可以直接扩容,最多可以扩容2000台左右的规模。
当51CTO记者问到为何etu选择一体机的方式为用户提供大数据解决方案,Etu首席顾问陈昭宇表示,企业存在的目的是为了赚钱,为了盈利。所以他宁愿投入最多的人力成本在一些应用上,比较少的愿意投入在IT上。随着数据规模不断的加大,需要很专业的IT设备和软件应用,目前用户已经看到Hadoop的价值,但缺少技术支持。同时,将企业IT风险降到最低。据介绍,目前etu主要面向电信、保险金融行业和电子商务行业。
陈昭宇强调,etu提供的是一站式大数据解决方案的服务,不仅是产品。同时,会有一个针对电子商务精准推荐的应用和顾问服务,协助企业探索大数据的商业价值。