【51CTO.com原创稿件】2018年5月18-19日，由51CTO主办的全球软件与运维技术峰会在北京召开。来自全球企业的技术精英汇聚北京，畅谈软件技术前沿，共同探索运维技术的新边界。在本次大会上，除了众星云集的主论坛环节，12场分论坛更是各具特色，分别聚焦了时下最受关注的容器、AI、区块链、大数据、高并发、物联网等前沿技术领域。
当前，数字化在给企业带来业务创新，推动企业高速发展的同时，也给企业的IT系统带来了严峻的挑战。如何利用技术手段使得系统可以并行处理更多的请求，降低延迟和响应时间，提高性能，提升用户体验，成为各大企业必须解决的难题。例如：每年的4.18、6.18、11.11等电商购物狂欢节期间，对于电商企业的IT系统来讲就是一次次巨大的考验，无论淘宝、京东还是苏宁，都必须做好IT系统面临高并发需求的技术保障，以保证在流量高峰时段系统能够经受得住考验，确保用户流畅地完成购物的全过程。
那么，面对流量高峰，不同的企业是如何通过技术手段解决高并发难题的呢?本次WOT峰会，则专门举办了分论坛予以探讨。在19日下午的《高并发与实时处理》分论坛上，来自同程艺龙机票事业群的王晓波、51信用卡大数据架构师刘建辉、游密通讯云技术副总裁余俊澎和新浪微博实时流技术平台负责人廖博，分别从高并发下缓存的治理、大数据产品进阶之道、实时音视频海量并发之道和实时流计算平台及应用模式四个不同的角度，为到场的听众带来了一场高并发技术应用的饕餮盛宴。
高并发下缓存的治理
众所周知，高并发是一个系统的工程，而I/O是导致IT系统无法完成高并发的一个主要原因。要解决I/O的速度问题，简单的方法是将计算结果临时存储，这种临时存储的方式就是缓存。虽然缓存技术的应用可以很好的解决高并发难题，但由于缓存系统存在崩溃问题，而大部分时候缓存系统的崩溃并非来自于缓存系统本身性能不够，而是因为各种系统对缓存的胡乱使用、无脑使用等原因所导致的。为此，同程艺龙机票事业群的王晓波从如何用好缓存这一技术难题出发，结合自身的业务实际情况，发表了《高并发下缓存的治理》的主题分享。
王晓波表示，缓存治理的困难主要集中在三个方面：一是如何让应用无感的合理使用缓存;二是对现有的已经在乱用使用的缓存，如何进行迁移。三是对缓存的研发方案，是选择自已研发，还是选择开源方案。
王晓波介绍，没有实施缓存治理之前的缓存杂乱无章，是系统的噩梦。治理之后，由于缓存对使用方式的正确化，使用场景的隔离化，数据量分配的合理化以及缓与存的分离，系统效率大幅提升。他举例表示，之前经常能发现一些TB级容量的超大缓存，细看一下它们并不是一个场景下的数据，也不是一个类型的数据，使用方之间的关联不大，一旦发生小故障就会导致系统瘫痪。在治理之后，这些危机就化解了。他强调，对于应用系统使用方来讲，这些治理过程是无感的，对他们的日常使用没有任何影响，只有这样才能达到缓存治理的目标。
实时音视频海量并发之道
随着语音和视频技术在各个领域的广泛应用，通讯行业的IT系统如何解决海量音视频带来的高并发需求，难度的确不小。游密通讯云技术副总裁余俊澎在《实时音视频海量并发之道》的主题分享中提到，当前实时音视频领域目前主要面临四大挑战：一是网络全球化的挑战;二是来自移动平台的挑战;三是来自运维部署方面的挑战;四是来自客户端的挑战。
余俊澎表示，当发现音视频海量并发问题时，大家往往***想到的是去中心化，做高并发支撑。实际上，除此方法之外，还可以通过智能路由化解高并发压力。他强调，如果企业需要开展全球业务，例如需要欧美、印尼这些国家的线路与国内互通，直接连接的效果就不好，而这种情况下通过智能路由去选择更好的线路，反而更容易去解决高并发的难题。
游密通讯的智能路由设计方案是先将基于各个网络节点之间以及客户端的情况上报、探测与接入服务之间的延迟、丢包、线路拥塞等情况，并进行汇总，最终传送一个总的数据模块给Redirect服务提供数据。对于上报的数据，经过迪杰斯特拉算法，就能够计算出任意两点间的***路径。
实时流计算平台及应用模式
微博业务对数据处理的实时性要求非常高。例如大家所熟悉的微博热词，需要在很短的时间内完成数据处理以供在线系统使用。新浪微博借助WAIC实时流计算平台，提供了可靠的毫秒级和秒级实时数据处理服务，并通过提供统一的数据源和配置化接入方式，帮提高了新浪微博实时作业的开发效率，降低了部门开发与运营的成本。
新浪微博实时流技术平台负责人廖博在《实时流计算平台及应用模式》的分享中提到，WAIC实时流计算平台用Storm、Kafka、Scribe、Flume、HTTP、Docker等较为成熟的技术进行平台构建，以统一监控平台、实时数据对账系统、实时数据源为平台基础，利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。他表示，WAIC平台满足了新浪微博实时打标签，Feed、Push等业务的实时特征生成，以及图片、音视频等多媒体文件分析的业务需求。
廖博表示，吞吐量和扩展性是考验实时流技术的重要标准。目前，WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面，WAIC平台采用插拔式的接入方式，只需按照规范开发相应的weibox，将接入方式进行抽象，制定相应的规范，这样需要扩展的实时集群只要按规范接入即可。
大数据产品进阶之道
提到大数据应用，很多用户想到的是Spark、Flink等，但在51信用卡大数据架构师刘建辉看来，大数据应用并不仅仅就是写几行代码，更多的是基于大数据的计算稳定和业务形态去做好用户服务。
在主题为《大数据产品进阶之道》的分享中，刘建辉从常规大数据架构、大数据用户需求和数据产品建设三方面，结合51信用卡的实际业务，详细介绍了大数据产品的进阶之道。他表示，在做大数据产品之前，一定要弄清楚公司使用大数据的核心用户是谁。以51信用卡为例，公司最需要大数据产品的有三类用户：一是数据分析人员，他们会基于大数据做规则筛选。二是算法策略人员。三是运营、产品和设计人员，虽然他们在利用大数据方面的经验还比较欠缺，但是他们仍然能够从数据的角度来规划产品。
刘建辉强调，在大数据的选型方面，要始终坚持可执行的方案，始终满足用户业务场景需求，并且要始终选择易用、稳定、可靠的方案。只有这样，才能确保大数据产品的快速落地，快速应用。
以上内容是51CTO记者根据WOT2018全球软件与运维技术峰会的《高并发与实时处理》分论坛演讲内容整理，更多关于WOT的内容请关注51cto.com。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
