随着不断增加的大数据解决方案需求，Apache Hadoop已经迅速成为存储和处理海量结构化和非结构化数据的***平台之一。企业只需在少量基于英特尔® 至强® 处理器的服务器上部署这种开源软件框架，就可用较低的成本迅速开始进行大数据分析。随后可逐步将其 Apache Hadoop 集群扩展到数百乃至数千个节点，从而将多 PB 数据的查询响应时间缩短到次秒级。
英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的***性能——同时保证复杂度处于***限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。
HiTune 性能分析器
Apache Hadoop 的主要优势之一就是比传统数据仓库更容易部署和使用。然而，由于分布式环境的硬件与软件之间存在复杂的交互，因此要优化 Apache Hadoop 集群和工作负载以提高性能会面临重重挑战。为了应对这样的挑战，英特尔开发了 HiTune，为开发人员提供了开发高度可伸缩型应用程序的简单工具。这种可伸缩、轻量级、可扩展的性能分析器可以帮助您向客户交付性能更高的 Apache Hadoop 集群和应用程序。此外，还可以帮助您的客户在其集群的整个生命周期内获得更高的价值。
典型的 Apache Hadoop 查询是使用直观、高级的数据流模型编写的。这对于程序员而言非常理想，因为数据分区、任务分发、负载平衡、容错和节点通信等所有繁杂的细节都由 Apache Hadoop 运行时环境来处理。然而，隐藏这种低级复杂性也会导致性能调优成为一项繁琐的挑战。因为工程师对于硬件与软件之间的低级交互知之甚少，甚至毫不知晓，而这种认识却是理解和优化性能所必不可少的前提。工程师们通常只能依靠漫长而又耗时的试错法，而结果往往也只是能得到次优的性能。
HiTune 将监视 Apache Hadoop 集群中各服务器的关键性能指标，随后汇总这些低级指标，将这些指标与高级数据流模型相关联。这样工程师就可以获得不同任务与阶段之间动态交互的深入了解，并迅速查明拖慢性能的性能瓶颈、应用程序热点和硬件问题。
- 简化和加速性能调优。HiTune 提供了详尽的分析和可视化，对正在运行的应用程序的性能影响微不足道，而且无需修改源代码。英特尔工程师广泛利用这种工具，在很多情况下，仅凭相对简单的硬件或软件调整就实现了高达六倍的性能收益。
- 跨数千台服务器扩展分析。HiTune 可用于分析生产环境中跨数千台服务器运行、包含数十万个同步进程的应用程序。HiTune分析引擎可作为一个 Apache Hadoop 作业来运行，支持通过大规模并行执行海量性能数据的快速分析。工程师不需要分析在一个集群的某个部分上运行的部分应用程序，而是可以收集和分析完整的信心，获得更有用的洞察。
- 逐渐获得更高的价值。英特尔将继续为 Apache Hadoop 和其他分布式大数据解决方案扩展并优化 HiTune。英特尔已经利用 HiTune 调优和优化了 Apache Hive 的性能，Apache Hive 是基于 Apache Hadoop 构建的开源数据仓库。您现在积累的调优专业经验会在未来交付更高的价值。
HiBench 基准测试套件
随着市场的发展，随着客户开始以接近实时的方式利用大数据洞察力来提高收入流、盈利能力和经营效率，优化和验证 Apache Hadoop 集群的性能变得更加重要。利用 HiBench 基准测试套件，您可以跨不同的工作负载准确而又一致地度量、验证和对比 Apache Hadoop 集群的性能，为客户提供更出色的信息和信心。
HiBench 提供了对 10 种易于使用的 Apache Hadoop 工作负载的便捷访问，这些工作负载经过扩展、配置和定制，能够反映典型的部署。您可以为特定的通用任务度量性能，例如排序和文字计数，或者为更加复杂的实际应用度量性能，这些应用包括 Web 搜索、机器学习和数据分析。不同的工作负载具有不同的特征，使您能够建立测试矩阵，体现特定环境的资源需求。
英特尔将继续扩展和改进 HiBench，还会与领先供应商和标准实体联手协作，开发针对 Apache Hadoop 的行业标准性能基准测试。建立这些基准测试之后，您就具备了理解架构问题、度量和验证 Apache Hadoop 解决方案性能的更好基础。
构建一个经过验证的基础
设计全面优化的 Apache Hadoop 集群需要深入理解整个解决方案体系。可能要投入数月的时间来探索 Apache Hadoop 工作负载特征，并了解如何与底层硬件和软件交互。还可以利用英特尔多年来与目前运行某些全球规模***、最成功的 Apache Hadoop 实现的企业之间共同研究和协同使用所得到的专业经验，这些企业包括 Google、Yahoo! 和某些***的电信与金融服务企业。
英特尔将这种专业经验构造成为参考架构、调优指南和***实践建议，可以将它们用作设计和部署 Apache Hadoop 集群的起点。利用从硬件规范直至完整软件架构的明确指南，可以更迅速、更经济地设计、构建和配置最适宜的解决方案。
还可以在多种领先 Apache Hadoop 发布版中任意选择，所有这些发布版均已针对英特尔至强处理器而高度优化。英特尔与 Cloudera、Hortonworks、IBM 和其他商业经销商合作，确保运用的是已专门针对企业环境中的生产就绪性而进行扩展、加强和测试的软件，在英特尔架构上实现***性能。
