Cloudera 作为Apache Hadoop的最快速、最便捷、最安全的数据管理和分析平台，以及***开源技术的提供者，于一个月前宣布增加了对Spark SQL和MLiB与Cloudera Enterprise 5.5 和 CDH 5.5集成的支持。在过去的一年中，两者已经在可用性和交互操作性上取得重大成绩。我们来回顾一下2015这一年Cloudera和Spark在用户生产环境中取得的进展。
由于研发的相对简单性和灵活的数据处理，Spark在开源社区和客户用例中的受欢迎程度迅速提升。它是Apache软件基金会中最活跃的项目，拥有来自于超过200家公司的800多名开发者。Cloudera团队的Spark代码提交者专注于提升Spark的企业级能力，在Hadoop的框架内集成Spark以满足客户需求和进一步的生产适用。
Hadoop的创始人，Cloudera的***架构师Doug Cutting说：“开发者对Spark的拥抱以及Cloudera在过去一年中在推进主流应用方面所作出的努力，是非凡的。我们已经有了大量的客户用Hadoop运作Spark，我们已经在深化Spark的商业能力方面取得巨大进步，使Hadoop客户在不同行业和用例中进行部署。有了Spark SQL和MLib作为Cloudera平台的补充，以及“统一平台”这一清晰的路线图，Spark应用将会随着批处理、流文件以及机器学习等用例而快速增长”。
在过去的一年，Cloudera针对多种数据处理的用例不断在完善Spark，包括端对端物联网应用、简化批处理以及原生机器学习等。由于越来越多的用户想要利用IoT和实时流数据，他们需要一个企业级的流式处理引擎来支持他们的应用程序。
为了应对这个问题，Cloudera***了Spark Streaming弹性方面的研发，确保数据的零丢失，并将其提升至生产标准。这一关键的改进，以及平台内与Apache Kafka的集成，已经使Cloudera的客户能够在一个统一的平台上建立完全的IoT应用程序。这对于Spark Streaming的应用有深远的影响。
为了推动更简化、更强大的批处理，并帮助Spark巩固其在Hadoop标准执行引擎的地位，Cloudera还发布了Apche Hive-on-Spark的测试版。Hive作为ETL开发的***工具，其与Spark处理引擎的集成，标志着支持下一代数据集成，是Spark作为MapReduce后继者的重要里程碑。
继***Cloudera 5.5的发布，Cloudera已经添加了Spark MLib - 拓宽了Spark的易用性，和Hadoop框架下的机器学习应用程序的性能表现;此外，Cloudera添加了Spark SQL – 允许将SQL无缝嵌入Spark应用程序，为开发者和数据科学家扩展了使用Spark的能力。
这一发布也包括了对Spark SQL的查询引擎的改进(Project Tungsten的一部分)，在效率和速度上都取得了显著提升。为了确保进一步的功能性，与Hive及其元存储的集成保证了Hadoop平台上Spark SQL数据模式的完全互操作性 – 无论是结合Hive的ETL研发，还是结合Spark SQL的应用研发，或者是使用Impala的交互式商业智能，确保正确的用户通过正确的工具都可以在其工作上得到无缝体验。
用户的广泛应用
把Spark包含在Hadoop中，Cloudera对此的支持比其他厂商更有经验，也拥有更多的客户在Hadoop上运行Spark，这些客户包括当今***的多租户Spark集群，包括超过800节点的部署。
已经有超过170个客户在各种行业中使用Spark，包括金融、医疗卫生、零售和保险。Cloudera帮助客户使用了大量的新用例，包括：
l Cox Automotive：为汽车经销商和买家提供产品和服务的领先供应商，使用Spark流数据使其对广告宣传的洞察分析从每小时改进为实时分析。
l PRGX：***的应付账款周转审计服务供应商，彰显了Spark灵活的高性能数据处理，带来了相比于传统系统9-10倍的性能提升。
l 某在线零售商：使用Spark减少了30%的数据处理时间，并且利用实时趋势来进行更多的互动
l Allstate：美国***的保险公司之一，使用Cloudera和Apache Spark来处理超过80年的数据，建立高精度定价模型。
l RelayHealth：医疗健康技术解决方案的提供者和McKesson的子公司，为医疗提供者接收支付、改进现金流，建立可预测的模型。该公司处理200,000名医生、2,000家医院和1,900名健康计划用户的医疗支付交易。
l Barclays：跨国银行和金融服务公司，建立了一个洞察引擎以安全地分析之前多种交易数据，将相关洞察以简洁的可摘要方式交付给Barclays的客户。
此外，相关Spark的Cloudera 加速计划已经推动了数十个强劲的Spark应用，以及与领先第三方工具的集成，进一步扩展了用户对Spark的使用能力。关键合作伙伴包括Datameer, Informatica, Oracle, Paxata, Pentaho, Platfora, StreamSets, Syncsort, 和Talend。
关于Cloudera
Cloudera是Apache Hadoop软件、服务和培训的领先厂商。各行各业的公司都在运行Cloudera，包括财富500强超过65%的公司，行业覆盖技术、金融、电信、零售、能源、医疗和新媒体。
CDH (Cloudera的Hadoop发行版) 提供强大的新型数据平台，可使企业的数据开启从未有过的洞见，不论是结构化还是非结构化数据，都能随思而动。使用CDH管理大数据的机构远远超过其它任何Hadoop发行版的总和。
Cloudera的发行版是由Hadoop项目最受尊敬的团队来开发支持的，包括Doug Cutting，Hadoop项目的发明人，同时也是Apache软件基金会的主席。还包括主要开源项目Flume，Oozie，Whirr，Crunch和Big Top等项目的创始人。与Hadoop栈相关的技术问题会分配给各个发行版厂商，但70%技术问题都是由Cloudera代码提交者解决的。
随着Hadoop的发展，Cloudera致力于保持CDH***的开源，同时让Cloudera的企业版本成为最全面最适于企业的方案。Cloudera自2009年起就是Apache软件基金会的赞助者，为持续改进用户的大数据体验而制定了雄心勃勃的创新路线图。由精端的Cloudera Manager管理软件，BDR和Navigator安全工具，以及Cloudera的支持团队保驾护航，CDH提供***的稳定性、集成性和易用性。
Cloudera为使客户具备更好的竞争优势，随后又推出了Cloudera Impala和Search。Impala是交互式分析工具，驱动实时SQL查询，可以做到比MapReduce或Hive快90倍。Search是中立语言搜索引擎，可以让任何人快速找到Hadoop中相关数据，可以实时地解决关键业务问题。
Cloudera提供业界***质量的Hadoop技术支持和服务。没有人比Cloudera更懂Hadoop栈，没有人比Cloudera架构师有更多部署、写文档、配置、测试大规模Hadoop集群的经验。他们在客户现场提供实践支持，设计、原型设计并优化整个数据管道包括数据摄取、信息架构、数据处理、高级分析，以及数据服务。
