BloomReach：降低Amazon EMR成本的五个建议

下图展示了用于在线商城的数据输入流程。BloomReach收集的数据包括在线商城页面爬取、在线商城数据推送以及影像数据。系统会包含一个用于数据清洗、过滤和标准化的ETL（Extract、Transform和Load）组件，而处理后的数据会被持久化到产品数据库。产品数据库还用于支撑类似“What’s Hot”这样的应用程序，它会在在线商城网站上为用户显示热门产品。

下图是定制化过程的一个简单概括：

在BloomReach，Amazon EMR集群的使用规模大约在1500个到2000个之间，每天运行的Hadoop作业大约在6000个。作为一个发展很快的公司，BloomReach经历了Amazon EMR短时间内用量增速飞快的过程：

因此，毫无疑问的是，在规模逐渐扩大的过程中，如何控制Amazon EMR的成本开销至关重要。从而，我们制定了下面几个策略：

1. 在任何情况下，尽可能的使用AWS Spot Instances（竞价型实例），而不是 On-Demand Instances （按需运行实例）。 Amazon Elastic Cloud Compute（Amazon EC2）Spot Instances是未被使用的Amazon EC2容量，你可以通过竞价的方式获得；因此，Spot Instances的价格决定于市场对这个类型实例的需求。但是，从我们长时间的使用经验来看，Spot Instances的价格只是On-Demand Instances的80%。但是因为竞价的关系，对Spot Instances的管理至关重要，一旦Spot Instances的市场价格超过你获取的价格，它就可能被收回。在Spot Instances管理上，我们编写了一个编排系统，它可以调度在Amazon EMR上的作业。这个系统实现了一个Hartmann管道，不管在本地还是Amazon EMR，它都可以运行各种各样的作业。同时，它还可以检测因为Spot Instances被收回所引发的故障，并按需在不同的集群上做作业调度。

2. 对比为每个作业单独发布一个集群，建立一个系统让集群为多个小型作业共享可以大幅度的减少成本。无论什么时候都不要忘记，不管你的作业是持续10分钟还是60分钟，你都是按小时支付。因此，如果你有4个10分钟作业，你可以让它们共享一个集群，对比使用4个1小时的集群，你只需要为1个集群支付1个小时的费用，成本效益由此可见。同时，让集群在多个作业中共享还可以为你节省新集群启动时的开销和成本，而这些时间节省可能对实时工作产生关键性影响。

3. 使用Amazon EMR tags来跟踪成本。EMR tags可以让你根据项目和部署需求来监视成本，它可以让你对投资回报有一个更深入的了解，并为预算目标提供非常好的可见度。

4. 建立一个生命周期管理系统，它可以让你跟踪集群并消除未使用的集群。

5. 为作业选择合适的实例类型。举个例子，为计算密集型作业选择c3类型实例。基于作业的规模，这可以显著的减少浪费和开销。下面是一个算法，基于Spot的价格，它为容量选择实例类型时提供了最佳实践。

maxCpuPerUnitPrice = 0 optimalInstanceType = null For each instance_type in (Availability Zone, Region) {   cpuPerUnitPrice = instance.cpuCores/instance.spotPrice   if (maxCpuPerUnitPrice < cpuPerUnitPrice) {      optimalInstanceType = instance_type;   } }

这些Amazon EMR策略组合策略以帮助你增加效率、控制成本，并让系统愈加可发展。（文/Prateek Gupta，BloomReach首席工程师）

原文链接：https://blogs.aws.amazon.com/bigdata/post/Tx3L1N4PH3MPPIF/Strategies-for-Reducing-Your-Amazon-EMR-Costs

订阅“AWS中文技术社区”微信公众号，实时掌握AWS技术及产品消息！

AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台，推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容，更有AWS社区专家与您直接沟通交流！快加入AWS中文技术社区，更快更好的了解AWS云计算技术。

（ 翻译/薛童阳  责编/王玉平 ）