随着企业业务的增长、数据量的激增,需要企业IT架构变的具有可伸缩性,提供更灵活、更易扩展的IT环境,“软件定义”的概念随之袭来。软件在当今数据中心环境中担当着越来越重要的角色,一直以来,专注芯片领域的英特尔都认作是“硬角色”,那么英特尔软件部门发挥着怎样的作用呢?近日,笔者有幸与英特尔软件与服务事业部中国区总经理何京翔博士及英特尔数据中心软件部中国区首席技术官苗凯翔博士深度交流,探讨软件在大数据领域的价值。
英特尔软件与服务事业部中国区总经理何京翔博士
英特尔软件----甘做无名英雄
随着大数据、云计算、物联网,移动互联的发展,越来越多的平板电脑、智能手机、甚至可穿戴设备、嵌入式等智能设备融入工作和生活,计算能力不断的向生活的方方面面渗透,面对不同平台的终端设备,如何实现兼容统一的用户体验则需要软件的优化。软件与硬件的发展一直是相辅相成的,英特尔软件与服务部门不仅提供基于英特尔硬件产品的优化,同时默默的推动着开源的发展。
英特尔软件与服务事业部中国区总经理何京翔博士介绍英特尔在开源领域的贡献,从上图这张PPT中不难看出,称英特尔为最大的开源软件公司并不为过。
“在开源社区方面,英特尔可以称之为最大的开源软件公司。” 何京翔博士一开始就抛出了一大重磅信息,他表示:“英特尔可以算是最大的开源软件公司之一,在开源领域英特尔使是linux最大的贡献者之一。安卓方面与谷歌有深度合作。大数据领域英特尔是Hadoop社区的一个重要贡献者,在云计算,open stack,领域英特尔也是前十名贡献者之一。”
#p#
辅助发挥更高价值,共筑生态
毫无疑问,英特尔软件与服务部门最重要的角色就是发挥英特尔芯片的最大价值。在大数据领域,从数据采集、传输、处理,再到存储、管理、集成、分类,做到快速灵活的驱动,英特尔的价值不仅仅是硬件,同时包含软件集成的部分,这也是英特尔软件部门的价值体现。
大数据基础架构
如上图,何博士介绍英特尔数据平台
新版的Hadoop发行版通过软件、硬件平台的协同设计,打造良好用户体验的解决方案。该解决方案基于英特尔数据平台(IA架构数据中心)由计算、存储和网络平台构成。在优化硬件的同时提供了大数据处理所需要的基本的模块,包括基本的数据分析的工具。
英特尔数据中心软件部中国区首席技术官苗凯翔博士表示,开放是非常重要的理念,“英特尔是一个非常开放的公司,整个想法是要驱动业界的发展,将整个生态链建起来。”
英特尔数据中心软件部中国区首席技术官苗凯翔博士
在笔者多年来与英特尔不同部门、不同产品线的负责人交流的时候,最常听到的一个词就是“生态系统(生态链)”。不难理解,英特尔站在生态链的前端,不仅在芯片,芯片组、硬件平台,重要的组成部分是如何与下游合作伙伴共同提供端到端的用户体验,这其中软件部门正是作为纽带,架起硬件产品与应用的平台。而众多的软件合作伙伴作为生态的重要部分,承接着大数据走向应用领域并实践技术价值,这也是英特尔所希望看到的,合作共赢推动整个产业的发展。
#p#
Hadoop发行版促使大数据“接地气”
英特尔Hadoop发行版是以英特尔的硬件为基础,提供Hadoop使用者更安全、更高效、更易部署的数据处理平台,Hadoop发行版针对创新的应用方面,将Hadoop直接固化到芯片中,从而实现加速,海量大数据可以更好的支撑业务决策,同时更迅速地识别潜在的安全威胁。
苗博士同时提供了关于英特尔数据平台解决方案的内部测试,上图并不是十分清楚,简单介绍一下:通过对基于Xeon5690/7200转机械硬盘/1GB以太网卡平台进行优化,可以看到升级到Xeon E5-2600处理器可以提升50%性能;升级到SSD(固态硬盘)提升80%性能;升级到英特尔10GB以太网卡可以继续提升50%的性能;在此基础上通过英特尔hadoop发行版可以继续提升40%性能。通过对软硬件解决方案的优化,对1TB数据的排序任务从4个小时缩减到只用7分钟。虽不能以偏概全,但是这样的测试结果也足以说明问题。
借助Hadoop可以加速数据分析、管理和处理,在应用领域有助于增强医学家更好的分析检索,寻找到治愈癌症的方法;也可以完善拥堵的交通环境;甚至不夸张的说如果规划合理,足以可以逐步改善雾霾等恶略的气象问题。对企业用户而言,其独有的加密技术可确保各大企业和大型组织在使用Apache Hadoop的时候更具有安全性和保障性。
英特尔的合作伙伴杭州诚道科技陈海涛先生从ISV的角度分享了英特尔Hadoop发行版在交通管理领域的应用表现。
杭州诚道科技陈海涛先生
从诚道的公安用户举一个小例子:公安建更多的监控设备不是为了更多的破案,而是要预防案件的发生,通过大数据分析,可以预防这样的事情发生。每个市的都有不少监控设备,采集了很多的数据,温州有768TB,这么多的数据,要分析所有的车辆,哪些车辆是白天从来没有出现过,只有在晚上出来,以前的系统只能在闲时进行统一的分析,不然系统很容易崩溃导致业务中断,通过去年的升级,采用数据平台解决方案,温州公安系统已经可以做到实时筛查,这对公安的应用非常重要。
引用诚道科技陈总的原话,“得益于Apache Hadoop软件的英特尔发行版的优势,海量图像和视频数据不但实现了可靠和高性能的存储,而且还能被大量的使用者快速地访问和使用。浙江省某市可保存的历史违法数据从3个月延长到24个月,从24亿条过车数据中完成机动车的号牌精确查询和行车轨迹查询,仅需不到1秒的时间。”
未来我们也希望看到更多像杭州诚道科技这样的商业伙伴与英特尔一道,将Hadoop发行版带进业务环境中,使企业决策更加杀伐果断、无往不利;使我们的出行更安全、交通更便捷、医疗更可靠、空气更洁净,使大数据技术深入企业、深入生活,发挥灿烂价值。