数据洪流时代,互联网技术架构创新与实践

原创
服务器 数据中心
大数据应用首先要做好数据系统,用自动化的系统来提高数据质量,打好根基;其次要建立数据模型,用数据模型来帮助企业做好预测和决策;最后要用智能化技术提高效率,提升企业的核心竞争力。

  【51CTO.com原创稿件】当前,云计算、大数据、人工智能、物联网等新技术在给企业带来红利的同时,爆炸式增长的数据总量也给企业的IT系统带来了巨大的压力。在数据洪流时代,多样化的工作负载、高并发的业务形态使得IT基础架构不仅要支持亿级流量的压力,更要综合考量性能、可扩展、灵活、智能等多方面的因素,企业希望结合自身业务场景和现有技术架构,实现更加智能化的管理和运维。

  面对数据洪流,互联网企业应该如何应对业务创新带来的挑战?为此,51CTO携手英特尔,召开了一场主题为《数据洪流时代,互联网技术架构创新与实践》线下研讨会,邀请行业技术大牛、厂商技术专家共聚一堂,围绕数据洪流带来的冲击和影响、企业应对策略和实践经验等热点话题,展开了深入的交流与探讨。

  数据驱动业务创新,推动企业持续发展

  随着技术的发展,我们已经进入了物联网时代,由此带来了数据的爆炸式增长。根据IDC预测,2018年至2025年中国的数据总量将以30%的年平均增长速度快速增长,预计在2025年中国数据总量将增至48.6ZB,占全球27.8%。如此规模庞大的数据总量在给企业带来发展机遇的同时,也带来了巨大的挑战,如何利用新技术有效挖掘数据价值,成为摆在企业面前的主要难题。

[[269022]]

  研讨会现场,京东商城研发总监李鹏涛带来了《大数据技术思考和实践》的主题分享。他认为,数据已经成为驱动业务创新和推动企业持续发展的新动能,尤其对于互联网企业来讲,业务创新决定着企业是否能够持续生存和高速发展,因此必须要利用大数据技术来收集数据、分析数据、挖掘数据价值。

  李鹏涛表示,大数据应用首先要做好数据系统,用自动化的系统来提高数据质量,打好根基;其次要建立数据模型,用数据模型来帮助企业做好预测和决策;最后要用智能化技术提高效率,提升企业的核心竞争力。

  充分利用新技术,突破数据洪流瓶颈

  数据洪流时代,数据来源多样,有数据库中的数据、第三方的数据、用户的行为数据等等,数据类型也有单一的结构化数据变为结构化、半结构化和非结构化数据。面对复杂的数据来源和数据类型,如何在确保数据安全的前提下,让数据快速产生价值?如何利用AI技术来提高数据处理的效率?会议现场的讨论环节中,各桌专家根据自己企业的实际情况,结合会议主题,有重点的进行了交流。

[[269023]]

  来自京东商城、奇虎360、饿了么、网易、华图教育、51Talk、听云的技术专家围绕在大数据应用中应该采取怎样的解决方案展开了激烈的讨论。

[[269024]]

  桌长京东商城研发总监李鹏涛分享了本组的讨论结果,他们认为在大数据应用中,平衡是技术工程师在开发解决方案时核心关键词,这就需要根据不同的业务类型和周期采用不同的解决方案,降低开发周期和开发成本。在产品开发过程中,加强产品自研的同时,多采用成熟的开源产品和方案,一方面减少自研的成本,另一方面为开源软件发展做出更多的贡献,让中国的技术人员在全球更有拓展力。

[[269025]]

  来自快狗打车技术、奇虎360、51Talk、EasyHadoop、易车网、优刻得、金山云、亚康科技的技术专家围绕如何识别数据、发现数据、实时分析数据展开了激烈的讨论。

[[269026]]

  桌长快狗打车技术研发总监柳亚政分享了本组的讨论结果,他们认为面对急剧增长的不同类型数据,如何识别数据、发现数据,实时分析数据,成为企业面临的主要难题。而在解决大数据应用的问题时,系统建设、系统化底层、数据化底层等技术并不是互联网企业面临的主要挑战,如何根据业务特点去发现模型特征,更好地实时计算,发现并挖掘数据价值,这才是重中之重。

[[269027]]

  来自国美在线、触控科技、金山云、规格委外、品友互动、乐视云、完美世界的技术专家围绕如何根据业务应用场景选择大数据产品和解决方案展开了激烈的讨论。

[[269028]]

  桌长国美在线私有云建设架构师陈焱分享了本组的讨论结果,他们认为在大数据时代的今天,任何团队、任何项目都要用数据化思维来思考与实践,用数据判断和量化工作。在大数据平台的选择上,要根据实际业务的应用场景需求来选择产品和解决方案,即可以选择自研,也可以选择购买大数据平台,关键是一定要解决公司在大数据应用业务上存在的实际需求,解决根本问题,帮助公司充分利用数据实现创新。

[[269029]]

  来自宜信技术、国美在线、乐视云、又拍云、完美世界、美团外卖、听云、一维大成科技的技术专家围绕数据洪流时代如何确保数据安全、让数据快速产生价值、利用AI提高工作效率等话题展开了激烈的讨论。

[[269030]]

  桌长宜信技术研发中心中台团队高级架构师王东分享了本组的讨论结果,他们认为通过数据中台对数据进行统一收集、标准化和脱敏后,为中台用户提供服务。用户使用SQL在数据中台以自助的方式快速解决问题,平台降低了学习门槛,使得数据应用更加敏捷、自助和平民化。

[[269031]]

  来自作业帮一课、滴滴、新浪微博、亚康科技、贝壳找房、百分点、苏宁大数据中心的技术专家围绕实现数据价值和运营成本平衡展开了激烈的讨论。

[[269032]]

  桌长作业帮一课研发负责人洪定乾分享了本组的讨论结果,他们认为面对爆炸式增长的数据,如何实现价值和运营成本的平衡,至为关键。因此我们认为在大数据的应用上,不同类型的企业要结合自己的实际业务需要,应用和排期需求,选择合适的产品和解决方案,一方面帮助企业充分利用数据实现业务的创新和高速的发展;另一方面也为企业降低运营成本,减少开支。

  英特尔打出组合拳,软硬组合助推新技术落地

  作为始终走在技术前沿的互联网企业,工程师们在面对数据洪流带来的挑战时,都能够充分利用新的大数据技术来解决问题。不过,新技术不仅对计算、存储、网络等硬件设备提出了更高的要求,而且对软件的要求也越来越高。企业要想保持快速增长的势头,必须重新调整IT架构或者构建更加智慧化的数据中心,以确保每个系统上运行更多不同类型的工作负载,为企业充分利用新技术,推动业务创新和持续高速发展,奠定扎实的基础。

[[269033]]

  英特尔中国区互联网业务部云计算技术专家王宝临带来了《英特尔以数据为中心产品组合助力云计算基础设施转型》主题分享,他表示,

  大数据、云计算、人工智能等新技术成为驱动企业业务创新的关键,推动着数据中心的变革。

  众所周知,英特尔提供了强大的软硬件产品,以帮助企业改造、升级数据中心,满足IT架构对大数据分析应用的需求。在硬件方面,第二代至强可扩展处理器以强大的平台能力,实现了在性能、人工智能推理、网络功能、持续内存带宽和安全等方面的革新性飞跃。英特尔的傲腾和QLC 3DNAND大容量存储产品,帮助客户突破存储性能和容量的瓶颈,从自身数据中更快获得洞察,并通过在8路服务器系统中与传统DRAM进行结合,来提供高达36TB的系统级内存容量。

  在软件方面,集成英特尔深度学习加速(英特尔 DL Boost)技术,以加速数据中心、企业和智能边缘计算环境中的人工智能推理工作负载,例如图像识别、对象检测及图像分割等。此外,英特尔还与生态系统内的合作伙伴通力协作,优化了充分利用英特尔深度学习加速技术的框架和应用。

  王宝临表示,新一代的英特尔数据中心解决方案,使CPU计算性能增加了41倍(2006-2017),计算成本降低了56%(2012-2017),存储的成本降低了77%(2012-2017)。英特尔正以计算、存储、网络、软件等数据为中心产品组合助力于企业云计算基础设施的建设,开启数据中心新纪元,为企业数字化转型全面赋能。

  总结:面对数据洪流,走在行业前沿的互联网企业必须积极的站出来,勇于探索和尝试,不断利用新技术分析数据、挖掘数据价值,以数据推动企业的创新与发展。在积极探索和尝试的过程中,IT架构势必面临的诸多的挑战,如何用较低的成本、较短的时间改造IT架构,重构数据中心,英特尔给出了很好的答案。本次沙龙中,各行各业的技术大牛们不止一次提到数据洪流带来的挑战和机遇,也根据自己的应用场景分享了他们的解决方案,并对新技术应用进行了更加深入的探讨。通过交流探讨,参会专家们一致表示学习到了很多同行的方法和经验,受益匪浅。

  面对数据洪流带来的数据中心挑战,英特尔也提供了非常成熟的技术解决方案。借助英特尔提供软硬件产品优势,企业能够积极应对新技术应用带来的IT架构挑战,加速业务创新步伐,以保证在未来长期的市场竞争环境中持续获得优势,推动企业的高速、健康发展。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

 

责任编辑:张诚 来源: 51cto
相关推荐

2015-10-26 11:39:54

互联网架构设计分布式

2011-12-20 09:43:15

思科网络

2011-12-14 18:28:19

思科互联网技术

2017-10-27 14:52:31

互联网高可用架构高可用

2016-07-13 18:00:05

2012-02-09 16:43:53

互联网IPv4IPv6

2012-02-17 13:43:51

2013-10-21 10:11:33

互联网技术大会H3C

2010-12-07 15:03:27

Google创新论坛

2014-11-05 17:27:38

2014-09-10 14:36:55

浪潮互联网技术

2009-11-13 10:12:17

互联网技术

2019-08-08 17:29:15

工业互联网数字化工业数据

2015-11-23 10:43:05

联想GITC

2018-04-09 11:07:50

容器

2016-04-15 18:06:45

互联网技术联盟

2016-08-27 13:56:10

移动互联

2020-10-29 15:06:39

华为张鹏技术

2016-07-18 18:47:07

互联网+

2018-11-22 13:52:48

华为云
点赞
收藏

51CTO技术栈公众号